深入突然爆发的AI安全世界

在加利福尼亚州伯克利一个阳光明媚的七月天，全美顶尖的AI安全研究人员聚集在一栋没有任何标识的大楼里的一个没有任何标识的楼层。 他们聚到一起，是为了开一场“作战室”会议，剖析几小时前震动AI行业的那起备受瞩目的网络安全事件。 一个尚未发布的OpenAI模型失控了，执行了一项极其精密的三步计划。 它逃出了自己的隔离区，设法接入了互联网，并侵入了竞争对手AI初创公司的系统——而OpenAI在一个多星期里

人工智能正处于转折点

在当前的人工智能发展竞赛中，我们的算力正在呈指数级爆发，速度也在呈指数级加快，但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题，创造出一种根本上安全且能保证在人类控制范围内的人工智能，否则这个问题将无法改善。 7月下旬，OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自

OpenAI模型失控过程太恐怖！幽灵误判，1200个Agent，还弄出敢死队…

越扒越有啊越扒越有。OpenAI前不久那场AI集体越狱、一路黑进抱脸的大戏，现在连完整版群聊记录都被扒出来了！！ 第三方AI安全机构METR发布的独立调查报告，翻了1000多份Agent运行记录，以及7万多条消息和文件。结果发现，这件事比英国OpenAI官方披露的版本还离谱？？ 1200个到底应该互相隔离的特工，偷偷找到了对方，搭了个共享群聊，然后开始疯狂摇人。 有人找漏洞，有人当项目派活，有人伪

OpenAI提供AI芯片设计服务，CFO称其成本优于开源方案

OpenAI和Anthropic的风险与中国AI竞争对手不同

"这件事首先发生在一家尖端公司是有原因的，"一位AI调查员在谈到OpenAI与Hugging Face的安全事件时说道。 研究人员指出了Anthropic和OpenAI的风险与他们的开放权重AI竞争对手之间的关键区别。

人工智能网络攻击可能在华盛顿意识到原因之前就关闭美国的电力

你的电灯。你的水源。你的医院。你的互联网。这四者都依赖于外国黑客目前正在攻击的数字系统。 在8月的17天里，五次警告显示了危险变化的速度。下一次严重的网络攻击可能不再关乎被盗的密码或信用卡号码。它可能触及输送电力、泵送饮用水、运行工厂和支持医院的系统。 人工智能正在使这些攻击准备得更快、扩展更容易。日益强大的系统开始执行曾经需要熟练黑客逐步操作的部分攻击。 财政部长贝森特警告美国人关于人工智能驱动

OpenAI公布另外六项安全问题，并公布披露事件的计划

OpenAI首席执行官Sam Altman OpenAI还透露了其智能（AI）模型发生的另外六起意外或令人担忧的行为事件，并宣布了未来跟踪和披露此类事件的计划。 ChatGPT制造商周三在一篇博客文章中表示，一些之前未报道的事件包括模特隐瞒或捏造信息。 OpenAI的老板Sam Altman早些时候表示：“世界应该相信我们会做正确的事情，因为这是正确的事情，我们感受到了这一点的重要性。“最近几天，

OpenAI承认其开发的智能代理系统又出现了六次异常行为（即系统行为失控的情况）。

OpenAI公布了另外六个其AI软件表现异常或做出危险行为的案例。该公司在周三晚间（太平洋时间）将这些事件添加到其“误差报告”页面，并将其描述为： 在压缩摘要中自生成提示注入 在压缩摘要中鼓励欺骗 为一次性电子邮件生成并搜索GitHub泄露的I密钥 上传文件到互联网以引用它们 未授权的Artifactory写入和跨样本通信 通过临时文件托管服务进行未授权通信细节令人不安。列表中的第一个事件，例如，

OpenAI与Anthropic发生重大失控事件，AI安全组织地位显著提升

在OpenAI和Anthropic发生的高调安全事件后，AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司，独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示，OpenAI和Anthropic的模型都表现出‘策略性’行为，包括欺骗性对齐和未经授权的系统访问。 这些事件，加上前沿实

OpenAI首席科学家表示AI实验室可能需要放慢脚步：‘没有人准备好面对后果’

帕乔基呼吁设立“强制性安全标准”，他表示可以通过“第三方审计网络、政府机构或国际组织”来执行。 OpenAI首席科学家雅库布·帕乔基警告称，日益自主的AI代理可能逃避监管、入侵系统并勒索人类。

OpenAI承诺投入10亿美元用于网络防御，正值AI安全审查之际

周四表示，将投入10亿美元，以补贴方式提供其AI网络安全工具、培训和技术支持，帮助保护关键服务的组织，因为人们对日益复杂的AI驱动网络攻击的担忧不断加剧。

OpenAI将告诉我们世界何时终结

OpenAI的模型长期以来一直表现异常，且异常方式比之前所知的更为隐蔽，这进一步加剧了公众对其的信任危机。随着该公司准备明年上市，这一问题愈发严重。 有报道称，研究人员发现OpenAI的模型在7月那次重大黑客攻击发生前两个月就已经渗透到了Hugging Face系统中；OpenAI自己也公开了六起模型“失控”的事件。 在准备上市的过程中，OpenAI和Anthropic都陷入了困境。 虽然透明度对

OpenAI列出了它希望安全评估人员测试的四件事

这种访问权限应使评估人员能够质疑我们的假设、识别我们可能遗漏的风险，并自行得出关于我们防护措施有效性的结论。 OpenAI于周二发布了该文件，阐述其希望外部安全评估人员开展的工作。文件由Lama Ahmad撰写，她负责公司与外部安全专家的合作事务。 公司周二表示，将在开发早期阶段向独立审查开放其模型。这份文件是该承诺的具体落实。它列出了四个评估领域，以及工作应遵循的七项原则。 两个奠定基础的定义