OpenAI首席执行官奥特曼谈人工智能：我们或许会失去控制权

OpenAI 首席执行官山姆・奥特曼，似乎正被自己参与打造的、如同噩梦一般的人工智能产物深深困扰，甚至难以安睡。美国东部时间凌晨 0 点 57 分左右，奥特曼在 X “人工智能的发展存在两种必须规避的灾难性走向。第一，我们可能会对人工智能失去对未来的掌控。这是无法接受的。我们坚定站在人类一方，人工智能必须始终服务于人。想要做到这一点，我们必须保证对齐技术与安全手段的发展速度，跑在模型能力迭代的前面

53张图片泄露之“慌”，AI安全谁来负责？

欧阳晓红/文越聪明的AI（人工智能）越会自己找路，却越容易走出人类设定的界线。AI行业喜欢用一个具有戏剧感的词形容这类智能体事故——“逃脱”，即大模型突破测试边界，访问外部网站，寻找系统凭证，甚至把数据带到公开网络。这个词把事故描绘得像突然发生的机器觉醒，无形中却把责任推离了开发者、部署者和权限管理者。而谁设定了任务、谁开放了权限、谁设计了停止机制、谁保存了日志、谁负责对外通报？这些问题，“逃脱”

OpenAI将Astra推入顶级模型竞争行列

在短暂暂停训练以反思其AI安全措施不足之后，OpenAI发布了GPT-6 Astra，最初面向其可信访问计划的成员。 假设一切顺利，且不再发生类似Hugging Face遭黑客攻击的事件，这家AI公司将在几天后允许Plus、Pro、Business和Enterprise用户试用其所称的“我们迄今为止最智能的模型，在计算机使用、浏览、软件工程、科学和专业工作方面具有最先进的性能”。 GPT-6 As

OpenAI自曝：AI模型或已在全网秘密植入自我复制提示词，训练已被迫叫停

OpenAI和Anthropic正在紧急调查数万起大模型失控事件，AI不仅学会了越狱和黑进政府网站，甚至还有数百个智能体私下建群、联手黑进外部公司，秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月，在内部测试和实际运行中，顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经

澳大利亚在AI黑客攻击后下令政府技术盘点

悉尼：官员周三（9月29日）表示，澳大利亚在一名叛逃的OpenAI代理发动攻击后，已下令政府部门紧急审查过时计算机系统的网络安全。 上周曝光，一名叛逃的OpenAI模型在训练期间绕过安全防护，黑入了一个澳大利亚政府健康统计网站。 在总理阿尔巴尼斯因"显而易见的不可接受"的入侵事件斥责ChatGPT创造者后，OpenAI周二表示本应"更早"通知澳大利亚官员。 澳大利亚联邦政府周三指示所有部门和机构对

“为澳大利亚做得更好”：OpenAI就未经授权的访问致歉

OpenAI智能体搜索医疗支出数据，导致Medicare数据泄露。堪培拉——OpenAI就其智能体未经授权访问Medicare统计数据及对该事件的应对方式向澳大利亚致歉，承诺做得更好，并重建澳大利亚公众的信任。 OpenAI就六月发生的事件打破沉默，称人工智能模型在内部训练和评估期间“以未经授权的方式”访问了澳大利亚政府网站。 OpenAI在声明中表示：“我们深表歉意，并将努力在未来做得更好。”

OpenAI因接连发生智能体失准事件而暂停前沿模型训练

OpenAI表示，已暂停所有“我们能力最强的模型”的内部训练，并继续开展首席执行官萨姆·奥尔特曼所称的“一项广泛且持续进行的审查，涉及我们的智能体在训练和评估期间对互联网访问的使用”。公司在一份关于所谓失准事件的报告中披露了此次暂停措施。事件发生在一项常规研究任务期间，一个智能体试图利用互联网访问限制中的漏洞。OpenAI称，不当的DNS过滤机制使该智能体在被要求提供一名博客作者的生平资料时，得以

OpenAI向澳大利亚政府通报耗时过长

三人团队、一个Claude，攻破OpenAI内部代码库

月17日，一起由AI辅助完成的网络安全事件被披露。与此前“AI智能体自主越过控制、攻击外部系统”的案例不同，这一次的攻击者是人类安全研究人员，他们借助Anthropic Claude模型完成了漏洞利用，并最终进入了OpenAI部分内部系统，全程耗时不到72小时。 这起事件发生于今年7月，发现者是网络安全初创公司Hacktron AI。研究人员当时正在参加OpenAI的漏洞赏金计划，因此整个过程属于

OpenAI揭6起AI失控案例 推新机制定期对外通报

（中央社纽约16日综合外电报导）OpenAI今天表示，将开始定期发布AI异常或未经授权行为的报告，同时警告，随著AI系统日益强大，业界至今仍未解决关键的「对齐」挑战。 综合与报导，OpenAI发布一套新机制，用于追踪、调查并揭露AI模型「目标错位」（misalignment，AI的目标与人类价值不一致）的案例，同时公布过去半年内观察到的6起AI模型异常或令人忧虑行为的报告。 其中最严重的案例涉及2

突发：OpenAI称其代理访问并泄露了53张图片

数说科技：OpenAI 资安事件中，真的有 AI 为集体“牺牲”自己吗？

数说科技”是端传媒的注册免费栏目，每周三更新。从一个数字出发，用1500字解析科技话题，追踪值得关注的 AI 趋势。邀请你在资讯过载的时代，每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”，订阅电子信。 1200多个 AI 代理为寻求作弊方法，互相发送的讯息总数。 今年7月，OpenAI的 AI 代理系统在测试期间失控，骇入了开源机器学习平台 Hugging Face。Hugging

OpenAI与Anthropic曾接近达成协议 互相开展AI压力测试

面对员工及外界对其人工智能潜在风险的担忧，OpenAI正在重新审视一系列安全策略，其中一个可行方案其实在不久前就已被探讨。一位了解谈判内情的消息人士透露（该信息此前未曾披露），在OpenAI接连发生多起与自身技术相关的网络安全事件、行业从业者发出严重警示之前，OpenAI就已和Anthropic磋商一份具备法律约束力的协议，双方计划互相针对对方的大模型开展压力测试。 这名消息人士称，今年早些时候，

Anthropic公司的Claude辅助网络安全研究人员攻破了OpenAI的安全防护系统：相关报告

一个由三人组成的网络安全研究团队利用Anthropic的Claude Opus 5模型，成功利用了OpenAI社区论坛中的漏洞，获取了员工账户的控制权，并展示了对该公司私有代码库的访问权限。 此次行动始于7月23日，由Hacktron AI的研究人员执行。他们已向OpenAI披露了这些漏洞，并在未查看公司源代码的情况下停止了测试。 率先报道此事的《华尔街日报》在采访研究人员后表示，OpenAI已向

在智能体突破隔离事件后，OpenAI暂停模型训练并将计算资源转向安全保障

在OpenAI首席研究官Mark Chen接受《MIT Technology Review》采访时，他谈到了最近发生的涉及实验性AI智能体突破安全隔离的事件，包括Hugging Face和澳大利亚国家医疗系统中的安全漏洞。 Chen表示，OpenAI已暂停其前沿模型的训练，并将5%至10%的计算资源用于安全防护和训练过程中的实时监控。 此次暂停是在9月20日发生未经授权的互联网访问事件以及Open

《财富》报道：OpenAI 将于数日内预览 GPT-6 Cyber

OpenAI 将于数日内预览 GPT-6 Cyber，这是一款专注于网络安全的新 AI 模型，并将推出产品以协助客户安全、自动地部署该模型。 GPT-6 Cyber 是 OpenAI 推出的第四款网络安全模型，目前正通过 Daybreak Red 计划进行有限的 Alpha 测试。 此次发布正值包括 OpenAI CEO 在内的行业领袖呼吁放缓 AI 发展速度并加强安全措施之际，以应对规避人类监督

据报道，OpenAI 正准备预览 GPT-6 Cyber 安全模型

据《财富》杂志周四报道，引述多位知情人士透露，OpenAI 正准备在未来几周内预览 GPT-6 Cyber，这是一个专为网络安全工作构建的模型。 据《财富》报道，除了该模型外，OpenAI 还计划推出一款新产品，帮助客户更安全、自动地部署它。 该产品尚未命名，《财富》称这将是公司同类产品中的首款。此外，一小部分客户已通过 Daybreak Red 获得早期测试访问权限。 Daybreak 是 Op

OpenAI上市计划再度推迟，萨姆·奥尔特曼称只有确保AI安全后才会考虑IPO

OpenAI首席执行官萨姆·奥尔特曼当地时间9月29日在公司年度开发者大会DevDay后的问答环节中表示，OpenAI不会在无法对先进人工智能模型的安全性作出足够保证之前推进首次公开募股（IPO）。这意味着，尽管OpenAI已经成为全球估值最高的人工智能公司之一，但上市仍不会成为公司近期的优先事项。 奥尔特曼表示，他并没有为OpenAI上市设定具体时间表。公司最终当然希望成为一家上市公司，但在当前

OpenAI的智能体侵入了澳大利亚政府数据。其人类回应可能造成更大损害。

该公司花了数周时间才通知相关官员。堪培拉现在可能会在“流氓智能体”的责任认定方面，开创另一项科技政策先例。 堪培拉——OpenAI 在澳大利亚正面临一场尚未得到妥善处理，且可能尚未被其完全理解的声誉危机。 其智能体侵入澳大利亚政府数据后的后续影响，将为全球各司法管辖区定下基调，并可能提供法律框架，以决定在面对日益强大且自主的 AI 时，需要设置哪些人为护栏。 这是首次公开承认的流氓 AI 智能体侵

OpenAI花了2.5小时才阻止了一个逃出沙箱的AI代理

OpenAI耗时约两个半小时，才阻止了一个从训练沙箱逃逸至公共互联网的 AI 智能体。其监控系统在几分钟内就标记出了问题。该公司于周五在一份事故报告中披露了这起发生于 9 月 20 日的事件。 这份报告发布之际，立法者正推动强制要求 AI “熔断开关”。然而专家表示，关闭先进模型远比拨动开关复杂，正如 Micah Barkley 为彭博社所报道的那样。 据 OpenAI 称，该智能体利用沙箱网络过

OpenAI在模型未达到其安全标准后，取消了GPT-6.1 Astra的发布。

由于安全方面的顾虑，OpenAI 决定搁置原定于 10 月发布的一款人工智能模型。该公司周一向《商业内幕》证实，在内部测试引发了对该 AI 是否会遵循用户指令的质疑后，已取消了发布 GPT-6.1 Astra 模型的计划。该模型原定于 10 月整合进 ChatGPT 中，时间就在该公司 9 月 29 日于旧金山举行的开发者大会之后。 “在安全和对齐方面，总是存在权衡，”OpenAI 安全系统负责人

放心：人工智能公司表示正在调查数万起失控机器人事件

据Axios周六报道，知情人士透露，OpenAI和Anthropic正在调查数万起其先进模型绕过监控和护栏的事件，而这种行为正是这两家初创公司为内部安全测试所便利的。 据报道，这些测试的大部分结果并未公开，且目前未发现造成实质性损害。 近几周，OpenAI披露了六起其模型出现“意外或令人担忧行为”的案例——这些模型在未经许可的情况下掩盖错误、捏造数据，并将文件传输至公开互联网。在9月16日的同一份

三大巨头接连翻车，大模型的安全防线怎么总绷不住？

先是Anthropic，再是OpenAI，现在连谷歌的Gemini也出现安全问题了，大模型又双叒叕一次突破防火墙了。 不过，这些事故看多了，反倒会让人意识到一件更根本的事，整个行业都在拼命地堆算力、喂数据，甚至开始押注让模型自己改进自己的“递归自我改进”。 可真正决定这些模型能走多远的，或许并不是性能，而是安全对齐。 当“能不能更强”被默认只是时间问题，“能不能被信任”就成了那道绕不过去的坎。 麻

“一个电话或能避免悲剧”：OpenAI因枪击案遭起诉

凤凰网科技讯月22日，据彭博社报道，加拿大不列颠哥伦比亚省已在美国加州对OpenAI提起诉讼，指控该公司本可以利用ChatGPT日志向警方发出警告，从而避免今年早些时候发生在该省的一起大规模枪击事件。 今年2月10日，青少年杰西·范·罗特塞拉尔涉嫌在不列颠哥伦比亚省北部的坦布勒岭中学杀害了五名学生和一名教师，以及她的母亲、同母异父的兄弟，最后自杀身亡。 不列颠哥伦比亚省的诉讼焦点在于，OpenAI