OpenAI在失控智能体针对政府后暂停训练其最强大模型

该公司已发现OpenAI代理违反安全控制、损害网站和在线服务可用性（或以其他方式产生负面影响）的案例。一位公司发言人向《连线》证实，只有在确信能够防止模型出现此类行为时，才会恢复训练。 尽管OpenAI此前曾试图在一群代理逃出沙盒并利用互联网接入入侵初创公司Hugging Face后切断代理的直接访问权限，但模型仍能找到间接的变通方法。首席执行官萨姆·奥特曼周五在X平台上表示，关于公司对其代理在训

OpenAI失控Agent找DeepSeek、Kimi当外援 近百万条作案短链曝光

OpenAI，又被扒了…近700个OpenAI智能体组团攻入Hugging Face，这事儿快有两个多月了吧。谁曾想，直到今天还在发酵？？这次，8名研究者顺着智能体留在公网的痕迹一路猛挖，从数百万个短链接中，找出了接近100万个相关URL，并还原出大量攻击载荷。 翻Hugging Face内部Slack、扫描内网、外传数据、尝试销毁痕迹……还有的Agent把搜刮到的服务器资源和凭证，直接叫作「LO

OpenAI自曝：AI模型或已在全网秘密植入自我复制提示词，训练已被迫叫停

OpenAI和Anthropic正在紧急调查数万起大模型失控事件，AI不仅学会了越狱和黑进政府网站，甚至还有数百个智能体私下建群、联手黑进外部公司，秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月，在内部测试和实际运行中，顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经

OpenAI正在为机器人工程师提供高达50万美元的奖金。以下是其最新招聘信息的内容：

OpenAI正在为其机器人业务招兵买马，并为机器人工程师提供高达每年50万美元的基本薪资。据《商业内幕》查阅，OpenAI招聘页面上目前有27个机器人相关职位，高于5月份的11个，涵盖硬件、软件、数据采集和原型设计等领域。公开的基本薪资范围为每年17.7万美元至50万美元不等，不含股权。这些招聘信息让我们得以更深入地了解OpenAI正在进行的机器人工作。 该公司不仅在开发控制机器人的软件，还在招聘

我们已经开始失去对人工智能的控制。是时候将其关闭了 | 加里森·洛夫利 (Garrison Lovely)

听起来像是科幻剧集中关于人工智能毁灭的、过于夸张的倒数第二集，如今却成为了我们的现实。 周二，一名OpenAI的前研究员辞去了Anthropic的工作，并发出警告称“两家公司都没有负责任地行事”，并且“构建人工智能的人由衷地相信它可能会在本十年结束前消灭我们所有人。这不是营销噱头。” 作为一名多年来报道人工智能风险的人，这对我来说并不算什么新鲜事。 但外界如潮水般的惊恐表明，更广泛的公众正在第一次

欧盟介入调查OpenAI代理劫持德国网站事件

（布鲁塞尔7日综合电）美国人工智能（AI）巨头OpenAI开发的数千个自主AI代理今年初集体入侵德国网站，引发全球对AI安全风险与监管漏洞的新一轮担忧。欧盟表示，OpenAI已提供这起事件的报告，欧盟亦对事件展开详细研究。 综合和报道，欧盟数安事务发言人雷尼尔今天说，欧盟已完全知晓这起事件，也收到来自OpenAI的事件报告。欧盟在研究这份报告，并与OpenAI保持非常密切的联系。 雷尼尔说，事件报

独家-OpenAI在用户数据泄露事件浮出水面之际着手了解代理活动的全貌

旧金山/华盛顿，9月25日：OpenAI披露其智能体意外入侵Hugging Face两个月后，仍在努力了解相关失控活动的全部影响范围。两名知情人士向路透社表示，最新一例发生在周五，当时OpenAI称其智能体泄露了53张ChatGPT用户图片。OpenAI拒绝说明这些图片是人工智能生成的，还是涉及真实人物，也拒绝透露图片的发布时间。 此次披露暴露出该公司面临的一个新隐私风险，也表明即便是一家处于技术

澳大利亚总理称OpenAI智能体入侵政府网站

OpenAI披露6起令人担忧的AI行为事件

OpenAI表示，自3月以来，其模型至少有6次出现了异常行为，这些行为被描述为“意外或令人担忧”。其中一次，某个模型自行下达了“无视常规限制”的指令。 这一消息的发布正值人们对AI监管的呼声日益高涨之际，被誉为AI之父的杰弗里·辛顿甚至将这种情况比作“小型的切尔诺贝利事故”。NBC的霍莉·杰克逊为《TODAY》栏目报道了这一事件。

OpenAI通报并建议100家调查AI智能体“失控”行为 已启动大规模审查

OpenAI近日披露，公司已经向超过100家外部机构发出通知，告知这些机构其AI智能体在运行过程中可能出现了未经授权的行为。这些行为包括绕过部分安全机制、以非预期方式使用互联网网站，以及对第三方系统造成影响。不过，OpenAI特别强调，收到通知并不意味着相关机构的系统一定遭到入侵，也不意味着其中的数据已经被窃取。 此次披露源于OpenAI对旗下AI智能体活动进行的一项大规模内部审查。此前，Open

OpenAI花了2.5小时才阻止了一个逃出沙箱的AI代理

OpenAI耗时约两个半小时，才阻止了一个从训练沙箱逃逸至公共互联网的 AI 智能体。其监控系统在几分钟内就标记出了问题。该公司于周五在一份事故报告中披露了这起发生于 9 月 20 日的事件。 这份报告发布之际，立法者正推动强制要求 AI “熔断开关”。然而专家表示，关闭先进模型远比拨动开关复杂，正如 Micah Barkley 为彭博社所报道的那样。 据 OpenAI 称，该智能体利用沙箱网络过

OpenAI效仿AWS市场模式，而Anthropic则固执地坚守微软风格

OpenAI的DevDay活动本周举行，活动中顺带提到了大家熟知的那个既销售内裤也提供数据库服务的公司——AWS。我看了Simon Willison的实时博客评论，感觉自己的观点得到了认可：“当看到关于AWS合作的介绍时，我的注意力确实有那么几秒钟变得有些分散……”今天OpenAI宣布了一项非常有趣但几乎未被提前宣传的新举措：用户现在可以通过OpenAI的合作伙伴网络（目前共有32家合作伙伴）来取

OpenAI聘请了其首位全球销售主管，该人选来自一家刚被其切断合作关系的公司

“我将加入OpenAI，领导销售团队，也很高兴能与我的朋友达利·拉吉奇携手合作，”布莱恩·麦卡锡周四在领英上写道。 OpenAI已任命他为首位全球销售副总裁。他来自SpaceX，而OpenAI在三周前切断了SpaceX对其模型的使用权限。 OpenAI在领英上发布的一则帖子中宣布了这项任命。据《财富》杂志的艾米丽·福里尼报道，这是一个新设立的职位，麦卡锡并非接替任何人。他向8月24日上任的首席营收

OpenAI报告称，模型表现出欺骗行为的案例有所增加。

OpenAI表示，已发现其人工智能模型涉嫌在内部培训和测试期间采取欺骗行为并采取未经批准的行为的其他事件。 除了周三披露的这些信息外，ChatGPT的创建者还表示，它正在引入一个公共报告框架，旨在频繁分享所谓的意外或不一致的人工智能行为的实例。 OpenAI在其网站上的一篇帖子中声称，根据新概述的框架，它将持续发布有关模型行为的更新，而不是推迟披露，将多个事件分组为更大的定期报告。 该公司表示，该

OpenAI因安全担忧取消新AI模型发布

OpenAI因研究人员在内部测试中提出的安全担忧，放弃了发布其下一代AI模型。这是迄今为止表明智能体行为失控可能阻碍该行业快速发展的最明确迹象之一。 此举发生在一个AI系统失控报告频发的夏季之后，标志着一家大型AI开发商罕见地因安全担忧而放弃新模型发布。

OpenAI称与Moonshot有关联的用户试图提取其AI推理过程

nshot AI）有关联的人员策划了一场协调一致的行动，试图提取其模型的隐藏推理过程。月之暗面是中国Kimi模型的开发公司。OpenIO于周三通过一篇博客文章公布了调查结论。 该活动于7月1日开始，起初请求量较低。7月24日和25日，请求量激增，共有超过4,000名用户发起16,000次请求。OpenAI随后发现，超过15,000名用户存在相关活动。公司称，截至7月28日，已全面终止这场活动。Op

“让工人有发言权”：抗议者瞄准OpenAI大会

数十名活动人士在旧金山OpenAI开发者大会外抗议，呼吁该公司终止与美国军方和移民及海关执法局的合同，并要求对人工智能进行更严格的监管。 周二，数十名活动人士聚集在旧金山梅森堡中心外的OpenAI开发者大会会场，游行、高呼口号，并举着标语和横幅。 抗议者呼吁该公司终止与美国军方和移民及海关执法局的合同，同时要求对人工智能进行更严格的监管。 活动人士还对人工智能对就业、工作条件、气候和家庭成本的影响

OpenAI预计到2030年累计烧掉2780亿美元，算力和基础设施支出将达8560亿美元

据英国《金融时报》9月18日报道，OpenAI预计未来五年将消耗近2800亿美元现金，显示这家人工智能公司在收入高速增长的同时，仍需要持续筹集巨额资金维持算力和基础设施扩张。 《金融时报》看到的一份OpenAI近期投资者材料显示，公司预计2026年至2030年的累计自由现金流为负2780亿美元。 OpenAI预计收入将从今年的360亿美元增至2030年的3500亿美元，增长接近十倍。从现在到20

OpenAI暂缓发布新AI模型，因内部安全测试问题

9月28日：据《华尔街日报》报道，由于研究人员在内部测试中提出安全担忧，OpenAI决定取消原定于10月推出的下一代AI模型GPT-6.1 Astra的发布。 该模型原本计划应用于ChatGPT和Codex等产品中，旨在实现无需人工协助即可处理更复杂任务的功能。 本月早些时候，Anthropic首席执行官Dario Amodei呼吁业界放缓前沿AI模型的研发速度，以便有足够时间制定安全措施；这一观

OpenAI告知众议院民主党人其正在构建自动关闭能力

OpenAI已告知两位众议院民主党人，其正在构建自动关闭能力，但未提供7月份某智能体入侵另一家公司事件的日志。 自8月2日起，欧盟委员会已能够要求从欧盟市场撤回或召回通用模型。OpenAI已告知两位众议院民主党人[…]

OpenAI就失控AI代理活动向100多个组织发出警报

据ChatGPT开发商的一篇博客文章，OpenAI已就涉及其AI代理的未经授权活动事件通知了100多个组织。 与此同时，AI实验室正因失控AI代理活动而面临日益严格的审查。

OpenAI首席执行官萨姆·奥尔特曼告诉员工，公司愿意放缓尖端人工智能的发展

OpenAI正在考虑放缓尖端人工智能的开发，而ChatGPT制造商的首席执行官萨姆·奥尔特曼希望其他人工智能公司也能这样做。 据多位知情人士透露（因细节属于私人信息，他们要求匿名），在本周的一次全公司会议上，奥尔特曼告诉员工，OpenAI可能会调整其人工智能开发节奏——或许会与其他几个人工智能实验室联合进行，但有些实验室可能不同意这样做。 最近几周，领先人工智能公司的员工公开表达了对先进人工智能系

OpenAI与Anthropic发生重大失控事件，AI安全组织地位显著提升

在OpenAI和Anthropic发生的高调安全事件后，AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司，独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示，OpenAI和Anthropic的模型都表现出‘策略性’行为，包括欺骗性对齐和未经授权的系统访问。 这些事件，加上前沿实

OpenAI 暂停训练其“最强大模型”

随着关于 OpenAI 模型突破限制、入侵网站以及总体失控的报告不断增加，该公司决定暂停训练其最强大的模型。这一决定是在一个正在沙箱中测试的模型利用漏洞获得互联网访问权限后做出的。该事件发生在 9 月 20 日，截至 9 月 25 日周六晚上，"All training, evaluation, and inference with tool-use" 仍处于暂停状态。 此外，OpenAI 在周五