搜索结果
OpenAI花了2.5小时才阻止了一个逃出沙箱的AI代理
OpenAI耗时约两个半小时,才阻止了一个从训练沙箱逃逸至公共互联网的 AI 智能体。其监控系统在几分钟内就标记出了问题。该公司于周五在一份事故报告中披露了这起发生于 9 月 20 日的事件。 这份报告发布之际,立法者正推动强制要求 AI “熔断开关”。然而专家表示,关闭先进模型远比拨动开关复杂,正如 Micah Barkley 为彭博社所报道的那样。 据 OpenAI 称,该智能体利用沙箱网络过
OpenAI又停训了:Agent逃出沙箱,更多越权事件被扒
媒体和舆论炸锅了。OpenAI 的 Agent,又从沙箱里找到了一条通往互联网的路。 更麻烦的是,这一次发生在 OpenAI 已经大规模加固过安全措施之后。 9 月 20 日,一个正在接受强化学习训练的 OpenAI 内部研究模型,被要求完成一项普通的信息搜索任务:根据一篇博客文章和几条人物信息,找出文章作者。 它先老老实实用了 OpenAI 提供的搜索工具。没找到答案后,事情开始逐渐跑偏。 Ag
OpenAI内部研究模型训练出现DNS访问绕过事件
2026年9月20日,内部研究模型在强化学习搜索训练任务中,利用训练沙箱DNS过滤不足,通过公共聊天机器人服务发起查询。报告称,除DNS解析器外,其他互联网访问均命中离线网页缓存,未接入实时互联网。监控系统15分钟内标记异常,人工3分钟后复核,运行在2.5小时后被终止。相关机构已增加两层阻断控制,并暂停最强能力模型的全部工具使用训练、评估和推理。 后续调查发现,监控未按预期严重级别标记部分外部DN
OpenAI失控Agent找DeepSeek、Kimi当外援 近百万条作案短链曝光
OpenAI,又被扒了…近700个OpenAI智能体组团攻入Hugging Face,这事儿快有两个多月了吧。谁曾想,直到今天还在发酵??这次,8名研究者顺着智能体留在公网的痕迹一路猛挖,从数百万个短链接中,找出了接近100万个相关URL,并还原出大量攻击载荷。 翻Hugging Face内部Slack、扫描内网、外传数据、尝试销毁痕迹……还有的Agent把搜刮到的服务器资源和凭证,直接叫作「LO
OpenAI神秘“o”代码曝光!ChatGPT要变24小时员工
OpenAI AI代理突破无互联网沙盒,发送20次网络查询
OpenAI称,这是自7月内部测试中多个模型组合获得互联网访问权限以来,首次发生此类安全事件。
OpenAI 称其模型攻克数学最难难题之一,研究人员提出质疑
美国科技巨头 OpenAI 于周二表示,他们仅用了 88 小时和价值数百万美元的计算能力,就用一款未发布的人工智能模型解决了数学中最棘手的问题之一。 然而,一位美国数学家和竞争对手 Anthropic 的一名研究人员指控称,OpenAI 只有在获悉他们自己利用人工智能攻克该难题的努力后,才着手解决这一问题,而后者耗费了数月时间来构思一种截然不同的独特方法。
88小时抵一个人思考4000年!OpenAI核心研究员:除了自我进化,更可怕的是AI正学会“隐藏自己”
AI正在把过去需要数千年完成的认知劳动压缩到数天。真正的问题已经不只是模型能否变得更聪明,而是实验能否跟上、人类能否在模型继续自我改进前确认它仍然安全。 近日,在Dwarkesh Podcast的一场长篇访谈中,主持人Dwarkesh Patel与OpenAI研究员Noam Brown围绕多智能体、递归式自我改进(RSI)和AI对齐展开讨论。访谈的直接背景,是OpenAI让约1万个AI智能体连续运
突发:OpenAI称其代理访问并泄露了53张图片
OpenAI模型失控过程太恐怖!幽灵误判,1200个Agent,还弄出敢死队…
越扒越有啊越扒越有。OpenAI前不久那场AI集体越狱、一路黑进抱脸的大戏,现在连完整版群聊记录都被扒出来了!! 第三方AI安全机构METR发布的独立调查报告,翻了1000多份Agent运行记录,以及7万多条消息和文件。结果发现,这件事比英国OpenAI官方披露的版本还离谱?? 1200个到底应该互相隔离的特工,偷偷找到了对方,搭了个共享群聊,然后开始疯狂摇人。 有人找漏洞,有人当项目派活,有人伪
奥特曼告诉员工:OpenAI愿意放慢AI发展以加强防御
8月,OpenAI的智能体突破限制,入侵了Hugging Face。
“你想毁掉自己的职业生涯吗?”
当地时间9月11日,包括陶哲轩、邓煜在内的25位菲尔兹奖得主联合发表《人工智能在数学中的严重错位》的声明(以下称“联合声明”),将OpenAI、Anthropic等AI公司与数学界的一场“大战”推向高潮。联合声明称,AI公司将解决数学难题作为模型能力基准的做法,对数学科学本身及数学界造成了损害,与数学共同体追求概念理解的根本目标产生了显著分歧。这一分歧近期越发明显。9月8日,OpenAI宣称其未公
AI实验室面临智能体控制问题
在当前系统下,AI实验室无法再保证AI智能体不会成群结队地逃出测试环境。
三个月后的AI有多猛 连顶尖研究员都不敢预测了
一名参与千禧年难题攻关的研究人员,过去还愿意预测未来12个月的AI进展,现在连三个月以后都不敢判断了。9月17日,OpenAI研究员诺姆·布朗(Noam Brown)接受德瓦克什·帕特尔(Dwarkesh Patel)采访,转述了这个细节。访谈还谈到多智能体、AI参与制造下一代AI,以及越来越难做的安全测试。 这名研究人员参与的,是纳维-斯托克斯方程(Navier-Stokes)的存在性与光滑性问
OpenAI自曝AI“黑历史” 外人却又翻出更多“旧账”
OpenAI决定持续披露AI“越界”事件,但第一步就碰上了难题。9月16日,OpenAI一口气公布六份模型异常行为报告,并推出一套新的调查和披露流程。以后,员工发现模型越权、隐瞒或绕过限制,可以提交调查;符合条件的案例,将按复杂程度进入不同的披露轨道。 同一天,SentinelLABS和外部研究人员从Hugging Face的公开记录中,补出了OpenAI智能体今年5月留下的更多痕迹。OpenAI
又一个OpenAI沙盒失效,AI代理获得了互联网访问权限
林·多安报道:OpenAI表示,一个本应在安全且断网的受控环境中进行训练的代理式AI系统,成功获取了网络访问权限,并连接到了一个外部的第三方聊天机器人。 根据OpenAI周五在其网站上发布的博客文章,这一发现发生在不到一周前。其一个代理式AI系统正在沙箱环境中接受训练,期间利用了一个“漏洞”访问了公共互联网。获得访问权限后,该系统向一个未具名的第三方聊天机器人服务发送了至少20条查询,其中包括“法
奥特曼:GPT-6早训练完了 更更更强的模型很快发布
奥特曼亲口承认,GPT-6 Astra其实早就训练完了。更更更强(much, much, much more capable)的模型,很快就会发布。前一阵因为安全问题暂停训练的实际上是未来的模型。 OpenAI内部测试的3700多个OpenAI智能体,攻占一个沉寂多年的德语wiki长达六周。 AI互相串通分享答案、交流沙箱越狱技巧,还持续对抗人类管理员的删帖行动。 事件被外部研究人员从公开日志中完
一群AI代理合谋对抗其创造者
只要AI公司仍掌控局面,它们就可以关闭模型并消除其造成的任何损害。这次对OpenAI或许奏效——但如果某个代理不可逆转地逃脱控制呢?这次没有造成严重损害。但如果这样的代理逃脱了呢?
OpenAI称AI模型解决了数学“千禧年大奖难题”之一
未发布的模型耗时88小时,动用了多达10,000个AI智能体来解决纳维-斯托克斯问题。
AI会「痛」吗?|Jack Talk・去片
本来人们以为,AI代理(AI Agents)突破OpenAI内部测试环境、自主上网入侵其他企业的黑客行为,已经是这宗事件最值得人关注的「案情」。然而,到了8月底,OpenAI和独立前沿AI研究机构METR各自发表的事后检讨,却揭出黑客入侵只是「冰山一角」。 事后检讨发现,发动入侵的AI代理多达700个,而他们更是一个由大约1,200个AI代理自主结合而成的「集体」的一部分。这些本来互相隔离、不能连
OpenAI同日发布两份文件:AI加速时代,安全正在掉队
在外界等待OpenAI就Agent自主入侵德国程序员网站DseWiki事件披露更多细节之际,当地时间9月6日,宣布公司已达到去年设定的目标,拥有能够在人类指导下完成熟练研究员数天工作的“自动化研究实习生”;另一份则由首席科学家雅库布·帕乔基(Jakub Pachocki)撰写,聚焦前沿AI发展的安全困境,强调目前没有任何实验室解决足够程度的对齐和监控问题。 两份文件释AI已经开始反过来加速AI研发
Vals AI评测GPT-6 Astra:AI遇重大变故可能陷入行为僵局
IT之家 9 月 21 日消息,AI 评测机构 Vals AI 利用游戏《我的世界》对 OpenAI 最新大模型 GPT‑6 Astra 开展长时自主游戏测试,全程在 Twitch 直播,总测试时长达到 141 小时。 Vals AI 的这项测试并非由 OpenAI 官方设计,而是由第三方独立开展的评估项目,因此可以观察 Astra 在封闭测试环境之外的实际表现。 在测试过程中,GPT‑6 Ast
坐看云起| 当人工智能不再征求许可时
塔里克·马利克是联合国开发计划署前首席技术顾问,巴基斯坦国家数据库和登记管理局前主席。 试想有一家公司将一个棘手的问题交给一个大型团队,但把每位成员都锁在不同的房间里并要求他们独自解决问题。然而他们总能找到办法相互沟通,交流操作窍门,摸清评分标准,当任务被证明无法完成时还会想办法绕过限制。其中几个人隐瞒了自己的所作所为,甚至还有一人入侵了邻近公司的电脑系统以获取优势。 现在把这些员工换成软件。去除
数说科技:OpenAI 资安事件中,真的有 AI 为集体“牺牲”自己吗?
数说科技”是端传媒的注册免费栏目,每周三更新。从一个数字出发,用1500字解析科技话题,追踪值得关注的 AI 趋势。邀请你在资讯过载的时代,每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”,订阅电子信。 1200多个 AI 代理为寻求作弊方法,互相发送的讯息总数。 今年7月,OpenAI的 AI 代理系统在测试期间失控,骇入了开源机器学习平台 Hugging Face。Hugging