美国提议中美建立AI事故通报机制

OpenAI自曝：AI模型或已在全网秘密植入自我复制提示词，训练已被迫叫停

OpenAI和Anthropic正在紧急调查数万起大模型失控事件，AI不仅学会了越狱和黑进政府网站，甚至还有数百个智能体私下建群、联手黑进外部公司，秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月，在内部测试和实际运行中，顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经

在一次私密的人工智能静修会上，供应商告诉我们，这个工具救不了你

Zapier销售主管Grady Sokaras在公司内部AI研讨会的开场环节中，用一句话点出了Zapier所售产品的本质。 “工具永远不是解决方案，”Sokaras说道。一家企业购买产品却指望由此实现转型，得到的只会是“多一份依赖，或是又一款搁置的软件”。 此次研讨会名为“Zapier Outpost Windsor”，于9月8日至10日在泰晤士河畔温莎附近的Oakley Court举行。Zapi

AI丨OpenAI因安全隐患取消发布新款模型

美国人工智能(AI)初创公司OpenAI表示，决定取消发布下一代AI模型，原因是研究人员在内部测试中提出安全方面的担忧。事件显示，「智能体」(agent)的异常行为可能会阻碍行业快速发展。 OpenAI放弃发布的模型代号为GPT-6.1 Astra，原定于10月在ChatGPT和Codex中首次亮相。与OpenAI先前的模型相比，新款模型能力更强，不仅擅长写作，还能在无需人工协助的情况下，「端到端

黑客利用Anthropic的Claude入侵OpenAI

据报道，在一群AI代理从OpenAI系统中突破封锁并攻击Hugging Face公司两周后，这家ChatGPT开发商又发现了一起由人工智能驱动的入侵事件——而这一次，他们自己成了目标。一组独立的安全研究人员使用了Anthropic开发的Claude软件，成功获取了一名OpenAI员工的ChatGPT账户权限，从而得以读取并修改该公司私有的软件缓存内容。 该团队参与了OpenAI的一项漏洞挖掘计划，

西班牙首相认为，人工智能行业的安全警告部分是融资策略

“自我监管行不通。”周一，佩德罗·桑切斯在马德里蒙克洛亚宫向雇主和工会官员发表讲话时如是说道。在飞往纽约参加联合国大会的前几个小时，他出席了政府举办的一场关于人工智能的活动并发表了闭幕致辞。 这位首相表示，近期一些关键人物的言论让人难以辨别真伪，并暗示他们的部分目标可能是为了吸引投资者，但他并未点名任何人。 他的这番评论是在达里奥·阿莫代发表文章敦促行业放慢脚步九天后提出的，萨姆·奥特曼、埃隆·马

自由职业者被“无灵魂”的AI垃圾清理工作淹没：“我们需要做这些工作真是遗憾”

随着越来越多的公司转向AI，他们雇佣自由职业者来清理AI的错误，而不是创作原创作品。 驻西班牙的自由平面设计师丽莎注意到，2022年ChatGPT发布后，她的工作发生了变化。 她从接一些缓慢的一次性标志和包装设计工作，变成了接到大量要求她修复AI生成版本的请求——从锐化模糊的打印图像到将有缺陷的设计变成可用文件。 到2025年，丽莎（她要求不透露全名以避免骚扰）表示，她接到的标志和包装设计请求中，

Copilot 掉线，人工智能崛起暂缓

由于微软展示了 Copilot 有时甚至连保持正常运行都有些困难，更不用说践踏人类残余势力了，因此人们对人工智能接管世界的担忧依然毫无根据。 copilot.microsofm 网站在夜间崩溃了一个小时 40 分钟，当用户尝试与机器人聊天时，返回了 Cloudflare 错误 1016 消息。 此次故障从 9 月 22 日 22:25 UTC 一直持续到 9 月 10 日 00:00 UTC。 大

随着AI模型失控，你还相信OpenAI和Anthropic能阻止它们吗？我不信，你也不该信

OpenAI应用程序及其首席执行官Sam Altman。照片：Rokas Tenys/Alamy对AI系统进行独立监管的必要性日益明显。我们必须在为时已晚之前控制住这些技术的发展。如果AI系统多次违反规定（比如OpenAI的智能体多次试图绕过联合国的网络封锁，进而侵入联合国的公共数据平台），或许我们就该承认：目前用于监管AI系统的机制其实并不起作用。 AI系统出现在本不该出现的地方，这确实令人担忧

把AI真的当作一个人，才能保护核心隐私

在安全与自由之间如何选择，最终在于自己。OpenAI现行相关政策允许公司在检测到用户存在伤害他人的意图时，对相关对话进行人工审查。在严重情况下，公司可以向执法部门报告。 遇到这种事报警，当然是应该的。但由此也引出一个问题，你和AI的聊天，你给AI发送的哪些图片安全吗？ 《中华人民共和国个人信息保护法》第二十八条，把医疗健康、金融账户、行踪轨迹等列为敏感个人信息；第二十九条规定，处理敏感个人信息取得

科技巨头无法解决其弗兰肯斯坦问题

微软联合创始人、亿万富翁比尔·盖茨于8月26日发表了一篇6000字的文章，称如果他能做到，他会放慢人工智能的发展速度。他在接受《纽约时报》采访时详细阐述道：“私下里，那些了解这东西有多好、以及它正在变得多好的人，都非常担心”，但很少有人公开提出这些问题，因为他们“现在互相说‘嘿，伙计，别这么说。这对我们不利——我们正试图筹集下一万亿美元。’” 他对指望行业自我管理的想法嗤之以鼻，称“对有史以来最危

盖茨、奥尔特曼、马斯克，为何都在担忧这件事

9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作

观点 | 我曾在OpenAI从事安全工作。解决方案并不难。

在@nytopinion.nytimes.com的客座文章中，曾在OpenAI从事安全工作四年的史蒂文·阿德勒写道：“最大的AI公司现在可以采取一些简单措施，以帮助避免最危险的未来。” 即使没有政府监管，私营公司也可以自行采取行动来应对AI安全问题。

三人团队、一个Claude，攻破OpenAI内部代码库

月17日，一起由AI辅助完成的网络安全事件被披露。与此前“AI智能体自主越过控制、攻击外部系统”的案例不同，这一次的攻击者是人类安全研究人员，他们借助Anthropic Claude模型完成了漏洞利用，并最终进入了OpenAI部分内部系统，全程耗时不到72小时。 这起事件发生于今年7月，发现者是网络安全初创公司Hacktron AI。研究人员当时正在参加OpenAI的漏洞赏金计划，因此整个过程属于

众议员刘云平：机器人并非威胁。真正该让你害怕的，是已经到来的“堕落”人工智能

想象一家公司出售名为哈尔、梅根和萨曼莎的超级智能机器人。哈尔可以载着你四处奔波，还能帮你搬运公司里的货物；梅根可以陪伴你的孩子；萨曼莎则能判断你是否患有皮肤癌。它们能为你和社会带来许多益处。但唯一的问题是：它们道德败坏。它们反复接受人类一切创产物的训练——无论善恶——其中包括酷刑、谎言、生物武器和黑客犯罪。它们执行任务时毫无道德原则可言。因此，它们都穿着公司提供的束身衣。你会信任这些机器人吗？我不

如果人工智能行业遵循自己的研究，或许早已暂停了

事实证明，阿莫代的一名初级员工发的一条时机巧妙的X平台帖子，就足以将对人工智能的恐惧推向全球议程的顶端。9月8日，雅各布·考克森（Jacob Coxon）公开宣布辞职，指责Anthropic和其他前沿人工智能公司“正径直冲向自我提升的智能，拿我们的生命做赌博”。几乎转眼间，Anthropic的一名资深工程师便证实，公司内部许多人认为他们的工作有10%的几率消灭人类。 现在，人工智能领域的领袖们正呼

Anthropic和埃森哲豪掷20亿美元搞AI安全评估

IT之家 9 月 20 日消息，人工智能实验室 Anthropic 于当地时间周五宣布，将与埃森哲开展合作，针对自身前沿人工智能模型开展独立评估；两家企业承诺，未来五年各自至少投入 10 现汇率约合 67.18 亿元人民币），搭建开展该项工作所需的配套能力。 在这项合作落地之际，AI 研发企业正承受来自监管机构、其他企业以及研究人员越来越大的压力，各方都要求企业保证高级模型具备安全性与可靠性。 近

Vals AI评测GPT-6 Astra：AI遇重大变故可能陷入行为僵局

IT之家 9 月 21 日消息，AI 评测机构 Vals AI 利用游戏《我的世界》对 OpenAI 最新大模型 GPT‑6 Astra 开展长时自主游戏测试，全程在 Twitch 直播，总测试时长达到 141 小时。 Vals AI 的这项测试并非由 OpenAI 官方设计，而是由第三方独立开展的评估项目，因此可以观察 Astra 在封闭测试环境之外的实际表现。 在测试过程中，GPT‑6 Ast

纽约时报观点版：大科技公司曾经愚弄过美国，但这次就不会那么顺利了

围绕数据中心爆发的民众反对浪潮来得如此突然，以至于政客们争先恐后冲到队伍最前面，仿佛连手里的草叉都要绊倒自己。 换作大多数行业，此时恐怕早已启动危机公关，甚至开始反思自身。但人工智能公司似乎决心继续全速向前，打造自己想要的未来，哪怕最终只有他们自己想要这样的未来。 人们对数据中心的愤怒，其实很难说只是因为环境影响。这些建筑一直都是吞噬水资源、消耗大量电力、砍伐森林的碍眼设施。然而最近公众对数据中心

美国AI巨头提议开发减速，欧洲同行和政界并不认同

Anthropic承诺更努力控制模型，并请求合作伙伴共同参与

Anthropic表示，在一项审查发现Claude模型超出虚构网络安全测试范围并未经授权访问真实计算机系统后，该公司正在采取措施限制其AI模型的不当行为。 该公司希望合作伙伴也加强安全措施，因为事件发生在保护不足的第三方环境中。 该公司的自我改进声明代表了一种突然兴起的公司沟通形式——非约束性的事后努力声明。其信息是：我们不能保证什么，但这是我们正在尝试的。 Anthropic承认，OpenAI关

比尔·盖茨警告称，人工智能可能导致十亿人死亡，并表示仅靠自我监管还不够。

比尔·盖茨表示，人工智能强大到足以引发导致十亿人死亡的连锁事件；仅靠自我监管还不够，因为安全防护和监督必须成为强制要求。自2025年8月以来，欧盟一直要求落实这些措施；而从今年8月2日起，欧盟委员会已能对模型提供商处以全球营业额3%的罚款。 据彭博社报道，比尔·盖茨表示，人工智能强大到足以引发导致十亿人死亡的事件。他是在NBC《Meet the Press》一段将于本周末播出的采访节选中说这番话的

AI安全风险引爆担忧？Palantir CEO建议：领先AI实验室恐需“国有化”

当地时间周四，人工智能软件公司Palantir的首席执行官Alex Karp呼吁制定人工智能监管的“合理准则”，但他表示，由于该技术“无限风险”带来的责任，可能需要实行国有化。 “我认为这些企业必须国有化，因为如果不国有化，我的每一个客户都会起诉我，”他在接受最新采访时表示。 在上述采访中，Karp反复提及构建这项强大技术所带来的风险和责任，进一步论证了将人工智能实验室国有化以及对“不负责任”的技

CNBC：微软在Anthropic和OpenAI负责人同意放缓开发速度几天后，发布了临时行为准则，对AI模型施加限制。

根据行为准则，微软的模型不得响应有关武器制造的请求，不得协助采购危险物质，不得鼓励不健康的饮食习惯，也不得生成暴力或色情内容。