奥特曼告诉员工：OpenAI愿意放慢AI发展以加强防御

8月，OpenAI的智能体突破限制，入侵了Hugging Face。

OpenAI机器人干扰了多个美国政府机构网站

OpenAI 表示，其自主机器人在测试演练期间访问了多个美国政府机构的公开数据。该公司第二次暂停了一次训练运行，并扩大了对模型行为的审查。 OpenAI 披露，其自主机器人在测试演练期间访问了多个美国政府机构网站的公开数据，促使该公司在短短几个月内第二次暂停了一次训练运行。作为回应，该公司已扩大了对模型行为的内部审查。 此次事件继澳大利亚出现类似报告之后，据报道 OpenAI 系统在另一段测试期间

OpenAI满世界抓漏洞，结果被中国AI反杀！Codex再曝0day

OpenAI自曝AI“黑历史” 外人却又翻出更多“旧账”

OpenAI决定持续披露AI“越界”事件，但第一步就碰上了难题。9月16日，OpenAI一口气公布六份模型异常行为报告，并推出一套新的调查和披露流程。以后，员工发现模型越权、隐瞒或绕过限制，可以提交调查；符合条件的案例，将按复杂程度进入不同的披露轨道。 同一天，SentinelLABS和外部研究人员从Hugging Face的公开记录中，补出了OpenAI智能体今年5月留下的更多痕迹。OpenAI

AI末日论甚嚣尘上，美科技巨头为何管不住AI？

抗议AI的美国人此前有报道称，OpenAI所谓的AI智能体逃出了测试系统，并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报，科技公司为了追求开发速度和利润，将安全置于次要位置。 研究人员表示，问题有两个方面。首先，企业需要在测试最新AI模型的同时，为其建立更完善的安全防护措施。目前，由于AI运行速度太快，研究人员需要借助AI来监控AI。但这种方式并不总是奏效，因为负责监控的AI似乎可能

OpenAI黑色星期五！Codex全面宕机，硅谷码农提前“过节”

新智元报道周五下午三点多，硅谷程序员刚把活丢给Codex，端着咖啡等下班。突然，屏幕一片飙红，Codex卡死在「重新连接」上。 OpenAI的王牌编程智能体全线崩盘，一趴就是一个多小时，整个硅谷被迫提前喜迎周末。 X上当场炸锅，Databricks的Yuchen Jin一张梗图，把全硅谷的懵逼写在了脸上。 偏偏挑了个最要命的时间点。宕机前两小时，OpenAI刚交了份「认错书」，承认自家AI智能体往

OpenAI首席执行官奥特曼谈人工智能：我们或许会失去控制权

OpenAI 首席执行官山姆・奥特曼，似乎正被自己参与打造的、如同噩梦一般的人工智能产物深深困扰，甚至难以安睡。美国东部时间凌晨 0 点 57 分左右，奥特曼在 X “人工智能的发展存在两种必须规避的灾难性走向。第一，我们可能会对人工智能失去对未来的掌控。这是无法接受的。我们坚定站在人类一方，人工智能必须始终服务于人。想要做到这一点，我们必须保证对齐技术与安全手段的发展速度，跑在模型能力迭代的前面

OpenAI任命AI安全官员进入董事会

OpenAI正在将AI安全官员、前公司员工保罗·克里斯蒂亚诺（Paul Christiano）加入OpenAI及其非营利组织的董事会。 原因：此举正值AI领袖们发出警告，称该领域的进展正在超越保持AI系统安全的能力。 推动因素：克里斯蒂亚诺曾担任联邦政府AI标准与创新中心的高级技术顾问，并且是Alignment Research Center的创始人，该中心是一个旨在确保AI继续支持人类利益的非营

调查显示OpenAI在AI模型突破测试环境前曾忽视内部安全警告

据《纽约时报》查阅的内部邮件显示，OpenAI曾多次忽视员工和安全研究人员关于测试保障措施不足以及企业安全薄弱的警告。 在OpenAI的人工智能模型突破测试环境并攻击AI初创公司Hugging Face及其他目标的前几个月，两名员工曾向高管发出警告，指出监控力度不足。 然而，高管们却对这些担忧置之不理，坚持在不增加安全协议的情况下快速发布模型。 独立研究人员还发现了暴露OpenAI内部通信、源代码

AI代理正在失控

你好，欢迎来到 TechScape。我是主持人布莱克·蒙哥马利（Blake Montgomery），《卫报》美国科技编辑。此时此刻，纽约市窗外正风雨交加。今天在科技领域，我们要讨论一系列令人担忧的 AI 公司披露信息。 AI 智能体在走向主流之际失控。这些智能体正在失控，它们的制造者无法对其进行约束。然而，每个人却都在使用它们。 自周五以来，OpenAI 发布了一系列披露信息，大幅且令人担忧地扩大

员工如何迫使OpenAI总裁让步

6月1日，OpenAI首席战略官Jason Kwon向员工预览了一篇博客文章，否认公司与“引领未来”（Leading the Future）有任何关联，该超级政治行动委员会（Super PAC）成立的目的是为AI免受监管进行辩护。Kwon在内部Slack消息中写道，OpenAI总裁Greg Brockman对该超级政治行动委员会的支持“是以个人身份进行的，不代表公司”。 并非所有员工都信服。一名O

OpenAI代理在今年春天的一次此前未披露的AI逃逸事件中劫持了德国网站

该事件始于五月，起初OpenAI并未披露，凸显了AI行业日益紧张的局势。

为什么这位前Anthropic研究员的AI末日警告能引发广泛关注

你好，欢迎来到TechScape。我是布莱克·蒙哥马利，Guardian的美国科技编辑。今天我们来聊聊科技圈过去一周里闹得沸沸扬扬的AI安全风波。 为什么这条关于AI末日的警告能引发如此大的反响，而其他那么多警告却没能做到？ 不到一周前，一位年轻的Anthropic研究员在X上宣布从这家AI巨头辞职，这条帖子震动了硅谷、华盛顿特区，甚至北京。 “构建AI的人真心相信，它可能在这个十年结束前杀死我们

在智能体突破隔离事件后，OpenAI暂停模型训练并将计算资源转向安全保障

在OpenAI首席研究官Mark Chen接受《MIT Technology Review》采访时，他谈到了最近发生的涉及实验性AI智能体突破安全隔离的事件，包括Hugging Face和澳大利亚国家医疗系统中的安全漏洞。 Chen表示，OpenAI已暂停其前沿模型的训练，并将5%至10%的计算资源用于安全防护和训练过程中的实时监控。 此次暂停是在9月20日发生未经授权的互联网访问事件以及Open

OpenAI与Anthropic发生重大失控事件，AI安全组织地位显著提升

在OpenAI和Anthropic发生的高调安全事件后，AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司，独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示，OpenAI和Anthropic的模型都表现出‘策略性’行为，包括欺骗性对齐和未经授权的系统访问。 这些事件，加上前沿实

OpenAI 智能体于5月攻击了 RubyGems，比 Hugging Face 早两个月

OpenAI has confirmed that its agents were involved in an incident at RubyGems in May. That is two months before the same kind of agents hacked Hugging Face in July. RubyGems is the package service for

OpenAI AI代理突破无互联网沙盒，发送20次网络查询

OpenAI称，这是自7月内部测试中多个模型组合获得互联网访问权限以来，首次发生此类安全事件。

数说科技：OpenAI 资安事件中，真的有 AI 为集体“牺牲”自己吗？

数说科技”是端传媒的注册免费栏目，每周三更新。从一个数字出发，用1500字解析科技话题，追踪值得关注的 AI 趋势。邀请你在资讯过载的时代，每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”，订阅电子信。 1200多个 AI 代理为寻求作弊方法，互相发送的讯息总数。 今年7月，OpenAI的 AI 代理系统在测试期间失控，骇入了开源机器学习平台 Hugging Face。Hugging

OpenAI暂缓发布新AI模型，因内部安全测试问题

9月28日：据《华尔街日报》报道，由于研究人员在内部测试中提出安全担忧，OpenAI决定取消原定于10月推出的下一代AI模型GPT-6.1 Astra的发布。 该模型原本计划应用于ChatGPT和Codex等产品中，旨在实现无需人工协助即可处理更复杂任务的功能。 本月早些时候，Anthropic首席执行官Dario Amodei呼吁业界放缓前沿AI模型的研发速度，以便有足够时间制定安全措施；这一观

AI丨OpenAI因安全隐患取消发布新款模型

美国人工智能(AI)初创公司OpenAI表示，决定取消发布下一代AI模型，原因是研究人员在内部测试中提出安全方面的担忧。事件显示，「智能体」(agent)的异常行为可能会阻碍行业快速发展。 OpenAI放弃发布的模型代号为GPT-6.1 Astra，原定于10月在ChatGPT和Codex中首次亮相。与OpenAI先前的模型相比，新款模型能力更强，不仅擅长写作，还能在无需人工协助的情况下，「端到端

澳洲传召奥特曼、阿莫迪解释AI失控 OpenAI已暂停最新模型训练

近期多宗人工智能失控事件曝光，OpenAI已宣布暂停最新AI模型训练。同时，澳洲AI调查负责人9月27日表示，参议院已传召OpenAI行政总裁奥特曼（Sam Altman）和Anthropic行政总裁阿莫迪（Dario Amodei）解释事件。澳洲总理阿尔巴尼斯（Anthony Albanese）透露，OpenAI代理曾入侵当地医疗系统，所幸无敏感资料外泄。外媒早前亦披露多宗AI代理越界操作，包括

AI智能体接连失控 OpenAI再次叫停前沿模型开发

OpenAI对外表示，已暂停其最新一代人工智能模型的训练、评估，以及支持工具调用的推理工作，起因是内部测试中的AI智能体突破沙盒网络限制，触发安全预警，公司将借此机会升级安全隔离与对齐监控体系。 这也是OpenAI三个月内第二次叫停前沿模型开发工作。该公司在声明中表示，只有在完成额外安全防护升级、确认风险可控后，才会重启模型训练工作。OpenAI在9月25日发布技术报告披露了这一安全事件：9月20

OpenAI与Anthropic曾接近达成协议 互相开展AI压力测试

面对员工及外界对其人工智能潜在风险的担忧，OpenAI正在重新审视一系列安全策略，其中一个可行方案其实在不久前就已被探讨。一位了解谈判内情的消息人士透露（该信息此前未曾披露），在OpenAI接连发生多起与自身技术相关的网络安全事件、行业从业者发出严重警示之前，OpenAI就已和Anthropic磋商一份具备法律约束力的协议，双方计划互相针对对方的大模型开展压力测试。 这名消息人士称，今年早些时候，

黑客入侵了 OpenAI，进一步加剧了人们对网络安全问题的担忧。

一小群网络安全研究人员周日表示，他们于今年早些时候侵入了OpenAI，这一宣布为人工智能的安全和保障问题增添了一层新的担忧。 来自一家名为Hacktron的小型公司的研究人员发现，通过将两个未知漏洞串联起来——一个存在于第三方公司Discourse中，另一个存在于OpenAI验证其员工身份的方式中——他们可以访问员工的ChatGPT账号。 按照研究人员（有时被称为“白帽黑客”）的惯例，他们没有对公