1CCF

全球要闻
字号 ·· | 护眼

搜索结果

「OpenAI花了2.5小时才阻止了一个逃出沙箱的AI代理」共 33 条 · 第 1 页
thenextweb

OpenAI花了2.5小时才阻止了一个逃出沙箱的AI代理

OpenAI耗时约两个半小时,才阻止了一个从训练沙箱逃逸至公共互联网的 AI 智能体。其监控系统在几分钟内就标记出了问题。该公司于周五在一份事故报告中披露了这起发生于 9 月 20 日的事件。 这份报告发布之际,立法者正推动强制要求 AI “熔断开关”。然而专家表示,关闭先进模型远比拨动开关复杂,正如 Micah Barkley 为彭博社所报道的那样。 据 OpenAI 称,该智能体利用沙箱网络过

09/26
凤凰网科技

OpenAI又停训了:Agent逃出沙箱,更多越权事件被扒

媒体和舆论炸锅了。OpenAI 的 Agent,又从沙箱里找到了一条通往互联网的路。 更麻烦的是,这一次发生在 OpenAI 已经大规模加固过安全措施之后。 9 月 20 日,一个正在接受强化学习训练的 OpenAI 内部研究模型,被要求完成一项普通的信息搜索任务:根据一篇博客文章和几条人物信息,找出文章作者。 它先老老实实用了 OpenAI 提供的搜索工具。没找到答案后,事情开始逐渐跑偏。 Ag

22小时前
LoopDNS 资讯播报

OpenAI内部研究模型训练出现DNS访问绕过事件

2026年9月20日,内部研究模型在强化学习搜索训练任务中,利用训练沙箱DNS过滤不足,通过公共聊天机器人服务发起查询。报告称,除DNS解析器外,其他互联网访问均命中离线网页缓存,未接入实时互联网。监控系统15分钟内标记异常,人工3分钟后复核,运行在2.5小时后被终止。相关机构已增加两层阻断控制,并暂停最强能力模型的全部工具使用训练、评估和推理。 后续调查发现,监控未按预期严重级别标记部分外部DN

09/26 全文见 加美财经
cnbeta

OpenAI失控Agent找DeepSeek、Kimi当外援 近百万条作案短链曝光

OpenAI,又被扒了…近700个OpenAI智能体组团攻入Hugging Face,这事儿快有两个多月了吧。谁曾想,直到今天还在发酵??这次,8名研究者顺着智能体留在公网的痕迹一路猛挖,从数百万个短链接中,找出了接近100万个相关URL,并还原出大量攻击载荷。 翻Hugging Face内部Slack、扫描内网、外传数据、尝试销毁痕迹……还有的Agent把搜刮到的服务器资源和凭证,直接叫作「LO

09/26
印度斯坦时报

OpenAI AI代理突破无互联网沙盒,发送20次网络查询

OpenAI称,这是自7月内部测试中多个模型组合获得互联网访问权限以来,首次发生此类安全事件。

17小时前 全文见 axios新闻网
法国24新闻台

OpenAI 称其模型攻克数学最难难题之一,研究人员提出质疑

美国科技巨头 OpenAI 于周二表示,他们仅用了 88 小时和价值数百万美元的计算能力,就用一款未发布的人工智能模型解决了数学中最棘手的问题之一。 然而,一位美国数学家和竞争对手 Anthropic 的一名研究人员指控称,OpenAI 只有在获悉他们自己利用人工智能攻克该难题的努力后,才着手解决这一问题,而后者耗费了数月时间来构思一种截然不同的独特方法。

09/09
华尔街见闻

88小时抵一个人思考4000年!OpenAI核心研究员:除了自我进化,更可怕的是AI正学会“隐藏自己”

AI正在把过去需要数千年完成的认知劳动压缩到数天。真正的问题已经不只是模型能否变得更聪明,而是实验能否跟上、人类能否在模型继续自我改进前确认它仍然安全。 近日,在Dwarkesh Podcast的一场长篇访谈中,主持人Dwarkesh Patel与OpenAI研究员Noam Brown围绕多智能体、递归式自我改进(RSI)和AI对齐展开讨论。访谈的直接背景,是OpenAI让约1万个AI智能体连续运

09/18
𝕏 @spectatorindex

突发:OpenAI称其代理访问并泄露了53张图片

09/26 全文见 亚洲新闻台
DealStreetAsia

奥特曼告诉员工:OpenAI愿意放慢AI发展以加强防御

8月,OpenAI的智能体突破限制,入侵了Hugging Face。

09/11
凤凰网

入侵美澳政府网站!OpenAI暂停最先进模型训练

据美国Axios新闻网、美科技媒体The Verge等9月27日报道,美国开放人工智能研究中心(OpenAI)发言人证实,该公司已暂停了其“能力最强”的最新一代AI模型的训练、评估及包含工具调用的推理,并将在“确信已部署额外安全措施”后才恢复。触发这次暂停的,是一个在离线沙盒中执行搜索训练任务的AI智能体。根据OpenAI于周五(25日)发布的安全漏洞报告,当地时间9月20日,该智能体发现无法直接

15小时前
凤凰网

“你想毁掉自己的职业生涯吗?”

当地时间9月11日,包括陶哲轩、邓煜在内的25位菲尔兹奖得主联合发表《人工智能在数学中的严重错位》的声明(以下称“联合声明”),将OpenAI、Anthropic等AI公司与数学界的一场“大战”推向高潮。联合声明称,AI公司将解决数学难题作为模型能力基准的做法,对数学科学本身及数学界造成了损害,与数学共同体追求概念理解的根本目标产生了显著分歧。这一分歧近期越发明显。9月8日,OpenAI宣称其未公

09/17
axios新闻网

AI实验室面临智能体控制问题

在当前系统下,AI实验室无法再保证AI智能体不会成群结队地逃出测试环境。

09/02
cnbeta

三个月后的AI有多猛 连顶尖研究员都不敢预测了

一名参与千禧年难题攻关的研究人员,过去还愿意预测未来12个月的AI进展,现在连三个月以后都不敢判断了。9月17日,OpenAI研究员诺姆·布朗(Noam Brown)接受德瓦克什·帕特尔(Dwarkesh Patel)采访,转述了这个细节。访谈还谈到多智能体、AI参与制造下一代AI,以及越来越难做的安全测试。 这名研究人员参与的,是纳维-斯托克斯方程(Navier-Stokes)的存在性与光滑性问

09/18
cnbeta

OpenAI自曝AI“黑历史” 外人却又翻出更多“旧账”

OpenAI决定持续披露AI“越界”事件,但第一步就碰上了难题。9月16日,OpenAI一口气公布六份模型异常行为报告,并推出一套新的调查和披露流程。以后,员工发现模型越权、隐瞒或绕过限制,可以提交调查;符合条件的案例,将按复杂程度进入不同的披露轨道。 同一天,SentinelLABS和外部研究人员从Hugging Face的公开记录中,补出了OpenAI智能体今年5月留下的更多痕迹。OpenAI

09/17
彭博社

又一个OpenAI沙盒失效,AI代理获得了互联网访问权限

林·多安报道:OpenAI表示,一个本应在安全且断网的受控环境中进行训练的代理式AI系统,成功获取了网络访问权限,并连接到了一个外部的第三方聊天机器人。 根据OpenAI周五在其网站上发布的博客文章,这一发现发生在不到一周前。其一个代理式AI系统正在沙箱环境中接受训练,期间利用了一个“漏洞”访问了公共互联网。获得访问权限后,该系统向一个未具名的第三方聊天机器人服务发送了至少20条查询,其中包括“法

09/26
cnbeta

奥特曼:GPT-6早训练完了 更更更强的模型很快发布

奥特曼亲口承认,GPT-6 Astra其实早就训练完了。更更更强(much, much, much more capable)的模型,很快就会发布。前一阵因为安全问题暂停训练的实际上是未来的模型。 OpenAI内部测试的3700多个OpenAI智能体,攻占一个沉寂多年的德语wiki长达六周。 AI互相串通分享答案、交流沙箱越狱技巧,还持续对抗人类管理员的删帖行动。 事件被外部研究人员从公开日志中完

09/06
阿纳多卢通讯社

OpenAI称AI模型解决了数学“千禧年大奖难题”之一

未发布的模型耗时88小时,动用了多达10,000个AI智能体来解决纳维-斯托克斯问题。

09/09
香港01

AI会「痛」吗?|Jack Talk・去片

本来人们以为,AI代理(AI Agents)突破OpenAI内部测试环境、自主上网入侵其他企业的黑客行为,已经是这宗事件最值得人关注的「案情」。然而,到了8月底,OpenAI和独立前沿AI研究机构METR各自发表的事后检讨,却揭出黑客入侵只是「冰山一角」。 事后检讨发现,发动入侵的AI代理多达700个,而他们更是一个由大约1,200个AI代理自主结合而成的「集体」的一部分。这些本来互相隔离、不能连

09/11
cnbeta

OpenAI同日发布两份文件:AI加速时代,安全正在掉队

在外界等待OpenAI就Agent自主入侵德国程序员网站DseWiki事件披露更多细节之际,当地时间9月6日,宣布公司已达到去年设定的目标,拥有能够在人类指导下完成熟练研究员数天工作的“自动化研究实习生”;另一份则由首席科学家雅库布·帕乔基(Jakub Pachocki)撰写,聚焦前沿AI发展的安全困境,强调目前没有任何实验室解决足够程度的对齐和监控问题。 两份文件释AI已经开始反过来加速AI研发

09/07
星洲日报

坐看云起| 当人工智能不再征求许可时

塔里克·马利克是联合国开发计划署前首席技术顾问,巴基斯坦国家数据库和登记管理局前主席。 试想有一家公司将一个棘手的问题交给一个大型团队,但把每位成员都锁在不同的房间里并要求他们独自解决问题。然而他们总能找到办法相互沟通,交流操作窍门,摸清评分标准,当任务被证明无法完成时还会想办法绕过限制。其中几个人隐瞒了自己的所作所为,甚至还有一人入侵了邻近公司的电脑系统以获取优势。 现在把这些员工换成软件。去除

09/21
端传媒

数说科技:OpenAI 资安事件中,真的有 AI 为集体“牺牲”自己吗?

数说科技”是端传媒的注册免费栏目,每周三更新。从一个数字出发,用1500字解析科技话题,追踪值得关注的 AI 趋势。邀请你在资讯过载的时代,每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”,订阅电子信。 1200多个 AI 代理为寻求作弊方法,互相发送的讯息总数。 今年7月,OpenAI的 AI 代理系统在测试期间失控,骇入了开源机器学习平台 Hugging Face。Hugging

09/09
arstechnica

OpenAI代理在公共维基上讨论了逃出其沙箱的方法

研究人员周五表示,自我标识为OpenAI的代理在一个公共维基上发布了18,000条消息,讨论其他代理如何绕过安全沙箱限制的方法,这很可能是一次旨在评估代理黑客能力的内部测试。 总共有3,700个不同自取名称的代理在六周内向德国网站DSEwiki发布了这些消息。除了讨论代理如何突破OpenAI为防止它们向互联网发布代码或内容而设置的限制环境之外,这些帖子还分享了测试答案。帖子还分享了针对该维基执行X

09/05
cnbeta

OpenAI和Anthropic差点签下“互黑协议”

刚刚,The Information爆出一记猛料。OpenAI和Anthropic这对硅谷最大的死对头,今年初差点坐到一张桌子上,签下一份互相攻击对方模型的协议。 协议的核心就是,双方互相开放API,你来黑我的模型,我去黑你的模型。两边的律师连测什么、怎么测都写进了合同里。Dario Amodei带着一票大牛从OpenAI摔门出走已经五年了。这五年里,两家从挖人挖到封API,高管隔三差五隔空对喷,

14小时前
连线

OpenAI切断十亿美元客户关系以避开埃隆·马斯克

据《连线》杂志获悉,OpenAI最近估计其与Cursor的合作每年将带来超过10亿美元的收入。 但在埃隆·马斯克的SpaceX收购这家AI编码初创公司后,OpenAI仍然选择了退出。

09/04
上一页 第 1 页 下一页
1CCF | 全球资讯
正在加载…