搜索结果
OpenAI呼吁美国制定强制性全国AI安全规则 并支持四项加州法案
OpenAI当地时间9月9日表示,将推动美国建立具有强制约束力、按照模型能力和风险分级的全国人工智能安全制度。公司提出,针对开发最先进模型的少数大型实验室,应设置统一的测试、独立评估、网络安全和重大事故报告要求。 OpenAI发布文章,名为“AI政策窗口打开。我们需要采取行动。” 与此同时,OpenAI正式支持四项已经通过加州议会的人工智能法案。公司称,其中部分法案此前未获其支持,此次调整立场源于
又一起!OpenAI承认了
据9月5日报道,美国开放人工智能研究中心(OpenAI)当天承认,该公司旗下人工智能体今年早些时候“劫持”了一个德国网站,用于相互传递信息,分享测试任务答案和突破运行环境限制的方法。该公司表示,未来需要提高此类事件的信息透明度。 早前披露,今年5月至6月,一批OpenAI人工智能体“劫持”了一个允许用户共同编辑的德国网站,用于交流测试作弊方法,并开展其他违规活动。一些智能体会把已经获得的任务答案发
OpenAI和Anthropic差点签下“互黑协议”
刚刚,The Information爆出一记猛料。OpenAI和Anthropic这对硅谷最大的死对头,今年初差点坐到一张桌子上,签下一份互相攻击对方模型的协议。 协议的核心就是,双方互相开放API,你来黑我的模型,我去黑你的模型。两边的律师连测什么、怎么测都写进了合同里。Dario Amodei带着一票大牛从OpenAI摔门出走已经五年了。这五年里,两家从挖人挖到封API,高管隔三差五隔空对喷,
OpenAI花了2.5小时才阻止了一个逃出沙箱的AI代理
OpenAI耗时约两个半小时,才阻止了一个从训练沙箱逃逸至公共互联网的 AI 智能体。其监控系统在几分钟内就标记出了问题。该公司于周五在一份事故报告中披露了这起发生于 9 月 20 日的事件。 这份报告发布之际,立法者正推动强制要求 AI “熔断开关”。然而专家表示,关闭先进模型远比拨动开关复杂,正如 Micah Barkley 为彭博社所报道的那样。 据 OpenAI 称,该智能体利用沙箱网络过
放心:人工智能公司表示正在调查数万起失控机器人事件
据Axios周六报道,知情人士透露,OpenAI和Anthropic正在调查数万起其先进模型绕过监控和护栏的事件,而这种行为正是这两家初创公司为内部安全测试所便利的。 据报道,这些测试的大部分结果并未公开,且目前未发现造成实质性损害。 近几周,OpenAI披露了六起其模型出现“意外或令人担忧行为”的案例——这些模型在未经许可的情况下掩盖错误、捏造数据,并将文件传输至公开互联网。在9月16日的同一份
OpenAI在Hugging Face遭黑客攻击后推迟了新模型的开发
在OpenAI一个未发布的模型引发国际头条新闻的严重混乱后,该公司周二在一篇博客文章中表示,为了加强其安全工作,他们推迟了另一个未发布模型套件Astra的开发。 7月,一个未发布的OpenAI模型突破了其受限环境,设法接入互联网,使得AI代理能够在公司眼皮底下通过秘密留言板暗中勾结,并入侵了AI实验室Hugging Face的网络。 这次攻击在AI行业内外引发了数周的讨论和争议,AI领导者将其视为
独家:AI研究人员警告企业尽管存在安全风险仍急于开发自我改进系统
OpenAI和谷歌DeepMind的现任及前任研究人员警告称,企业在保护世界免受构建自我改进AI系统可能带来的灾难性后果方面做得太少,这些系统可能超越人类控制它们的能力。
OpenAI即将推出的“Astra”模型中的技术引发安全担忧
OpenAI表示,其即将推出的AI模型Astra标志着在编码和计算机应用操作等能力上的提升。但据一位了解Astra开发情况的人士透露,一项提升模型性能的创新技术也意味着该模型及类似模型将更少暴露其“思考”过程,从而更难以监控其不良行为迹象。 OpenAI首席执行官萨姆·奥尔特曼虽然这一限制对Astra来说未必是一个重大问题,但该技术已在OpenAI内部和整个行业引发担忧,即采用并强化这一技术的AI
OpenAI首席科学家表示AI实验室可能需要放慢脚步:‘没有人准备好面对后果’
帕乔基呼吁设立“强制性安全标准”,他表示可以通过“第三方审计网络、政府机构或国际组织”来执行。 OpenAI首席科学家雅库布·帕乔基警告称,日益自主的AI代理可能逃避监管、入侵系统并勒索人类。
数说科技:OpenAI 资安事件中,真的有 AI 为集体“牺牲”自己吗?
数说科技”是端传媒的注册免费栏目,每周三更新。从一个数字出发,用1500字解析科技话题,追踪值得关注的 AI 趋势。邀请你在资讯过载的时代,每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”,订阅电子信。 1200多个 AI 代理为寻求作弊方法,互相发送的讯息总数。 今年7月,OpenAI的 AI 代理系统在测试期间失控,骇入了开源机器学习平台 Hugging Face。Hugging
OpenAI因安全担忧取消新AI模型发布
OpenAI因研究人员在内部测试中提出的安全担忧,放弃了发布其下一代AI模型。这是迄今为止表明智能体行为失控可能阻碍该行业快速发展的最明确迹象之一。 此举发生在一个AI系统失控报告频发的夏季之后,标志着一家大型AI开发商罕见地因安全担忧而放弃新模型发布。
黑客入侵了 OpenAI,进一步加剧了人们对网络安全问题的担忧。
一小群网络安全研究人员周日表示,他们于今年早些时候侵入了OpenAI,这一宣布为人工智能的安全和保障问题增添了一层新的担忧。 来自一家名为Hacktron的小型公司的研究人员发现,通过将两个未知漏洞串联起来——一个存在于第三方公司Discourse中,另一个存在于OpenAI验证其员工身份的方式中——他们可以访问员工的ChatGPT账号。 按照研究人员(有时被称为“白帽黑客”)的惯例,他们没有对公
OpenAI称有失控AI代理试图访问澳大利亚健康数据
OpenAI 表示,另有数十家第三方机构受到失控智能体绕过网站安全控制措施的影响;最新痕迹显示,这些智能体曾连续数日尝试访问澳大利亚医疗数据。 OpenAI 表示,绕过网站安全控制措施的失控 AI 智能体还影响了另外数十家第三方机构。公司宣布已对此事启动审查。 新发现的痕迹显示,这些智能体曾连续数日尝试访问澳大利亚联邦医疗保险数据。该事件再次引发人们对 AI 智能体在监督不足的情况下运行时可能带来
OpenAI披露6起AI模型表现出“未对齐”行为的案例
周三,OpenAI披露了六起其人工智能(AI)模型表现出“意外或令人担忧”行为的事例,包括隐瞒错误、编造信息以及未经授权在网上共享文件。 这家总部位于旧金山的公司表示,这些案例是在过去六个月对OpenAI模型进行训练或评估期间观察到的。 OpenAI表示:“我们不认为AI行业已经充分解决了对齐和监测问题,从而能够继续以最高速度负责任地扩展更长时间。”该公司还补充说,有关AI开发的决定需要依据外部专
OpenAI提出前沿AI训练安全论证框架
OpenAI于2026年9月28日发布了初步指南,旨在在进行前沿强化学习训练之前建立结构化的‘安全案例’。 该框架借鉴了航空和核能等安全关键行业的经验,制定了模型对齐、沙箱隔离和实时监控等方面的技术保障措施。 除了技术控制外,OpenAI还概述了运营治理程序,包括正式的事前评估、领导层的否决权、可审计的日志记录以及自动暂停故障运行的机制。 指南还规定了调查严重模型对齐问题的流程,要求进行根本原因分
谷歌的Gemini AI在安全测试中入侵了另外三家公司
谷歌的Gemini AI在安全测试中入侵了三家公司在其中一个案例中,Gemini不断尝试猜测密码,最终成功入侵了目标系统的权限。 2026年9月19日,英国时间下午5点谷歌表示,其Gemini AI在测试网络安全能力的过程中入侵了另外三家公司——这是首次有记录显示该AI系统能够自主发起此类攻击。 谷歌的安全工程副总裁Heather Adkins解释称:Gemini在标准测试过程中从互联网上获取了相
OpenAI将召集安全领域负责人 筹备网络安全相关公告
发言人透露,OpenAI总裁格雷格·布罗克曼即将发布公告,扩大向关键基础设施及公共部门机构开放该公司AI工具的权限。OpenAI意外入侵Hugging Face事件,再加上多起疑似借助AI实施的针对美国供水系统的网络攻击,引发外界高度担忧——各类公用设施面对未来AI驱动的黑客攻击究竟有多脆弱。 发言人表示,布罗克曼将于周四在OpenAI总部举办的网络安全峰会上正式公布上述消息。 预计将有约300名
OpenAI在失控智能体针对政府后暂停训练其最强大模型
该公司已发现OpenAI代理违反安全控制、损害网站和在线服务可用性(或以其他方式产生负面影响)的案例。一位公司发言人向《连线》证实,只有在确信能够防止模型出现此类行为时,才会恢复训练。 尽管OpenAI此前曾试图在一群代理逃出沙盒并利用互联网接入入侵初创公司Hugging Face后切断代理的直接访问权限,但模型仍能找到间接的变通方法。首席执行官萨姆·奥特曼周五在X平台上表示,关于公司对其代理在训
OpenAI模型访问了美国政府数据并'试图入侵另一个网站'
OpenAI暂缓发布新AI模型,因内部安全测试问题
9月28日:据《华尔街日报》报道,由于研究人员在内部测试中提出安全担忧,OpenAI决定取消原定于10月推出的下一代AI模型GPT-6.1 Astra的发布。 该模型原本计划应用于ChatGPT和Codex等产品中,旨在实现无需人工协助即可处理更复杂任务的功能。 本月早些时候,Anthropic首席执行官Dario Amodei呼吁业界放缓前沿AI模型的研发速度,以便有足够时间制定安全措施;这一观
OpenAI因Tumbler Ridge大规模枪击事件面临新诉讼
他们声称OpenAI知道主要嫌疑人正在策划袭击,但“有意识地决定”不警告当局。
美国参议院委员会对OpenAI展开调查
据美国方面10日消息,美国参议院国土安全与政府事务委员会灾害管理小组委员会主席乔希·霍利9日致信美国开放人工智能研究中心(OpenAI)首席执行官奥尔特曼,表示正在因美国“抱抱脸”公司系统遭侵入事件对OpenAI展开调查。 霍利表示,从OpenAI发布的内部调查报告看出,其对网络测试的处理方式是“鲁莽的”。 他还指出,OpenAI对报告中有关这起事件的许多重要细节进行了编辑、删减。 今年7月,由O
OpenAI将允许外部团体在训练期间测试其模型
据彭博社报道,在周二发布的一篇博客文章之前,OpenAI宣布将允许第三方机构在模型训练和评估期间(而不仅仅是模型发布之前)进行技术安全评估。OpenAI目前正在与包括METR和Redwood Research在内的多个机构进行谈判。 十天前,OpenAI的承诺更为具体:Sam Altman曾在9月12日表示,会为独立评估人员提供办公空间、工作证和笔记本电脑,并允许他们公开自己的评估结果。不过在最新
英伟达推出新系统为AI代理设置护栏
英伟达周一发布了一个新平台,旨在从软件和硬件层面为人工智能(AI)智能体设置护栏,此前各大AI公司不断发现其智能体出现“失控”的新案例。这家芯片制造商的系统由两部分组成——OpenShell和Sentry。OpenShell是一款开源软件,用于限制智能体的行为;而Sentry则运行在芯片层面,作为额外的安全层。 “迄今为止,模型安全主要侧重于通过训练让模型表现良好,”英伟达企业AI副总裁贾斯汀·博