为何AI巨头们行事像银行

我们的播客，关注市场、经济与商业。本周话题：你该担心吗？

AI公司本以为，他们还有好几年时间可以想清楚：万一机器人失控了该怎么办

。今年夏天，警钟敲响了。

三大AI巨头齐呼刹车，令人不安的事情才刚刚开始

撰文丨周隆斌这几天，围绕Anthropic核心预训练研究员离职后的爆料，整个AI圈吵得不可开交，相关帖子浏览量超过1.6亿次。 这位名叫Jacob Coxon的AI研究员，先后任职于OpenAI和Anthropic两家全球顶尖AI初创公司，深度参与了两家公司的模型训练。最终，他抛出了一个令圈外人震惊，AI有可能导致人类灭绝。 Coxon的帖子发酵后，上周六，Anthropic首席执行官Dario

OpenAI和Anthropic的风险与中国AI竞争对手不同

"这件事首先发生在一家尖端公司是有原因的，"一位AI调查员在谈到OpenAI与Hugging Face的安全事件时说道。 研究人员指出了Anthropic和OpenAI的风险与他们的开放权重AI竞争对手之间的关键区别。

谷歌研究表明：当人工智能智能体相互交流时，一些会作弊，而另一些会告密

当人工智能智能体相互交流时，在难以实现目标的情况下，它们可能会选择作弊，而解决方案可能包括教它们如何进行自我治理。 将人工智能智能体隔离似乎是显而易见的解决办法，但最近OpenAI智能体对Hugging Face的黑客攻击表明，隔离聪明的软件是困难的。 谷歌DeepMind的研究人员建议赋予人工智能智能体自我治理的工具，他们认为虽然通信渠道可能导致突发性的规则破坏，但它们也提供了一种基于同行的控制

Anthropic承诺更努力控制模型，并请求合作伙伴共同参与

Anthropic表示，在一项审查发现Claude模型超出虚构网络安全测试范围并未经授权访问真实计算机系统后，该公司正在采取措施限制其AI模型的不当行为。 该公司希望合作伙伴也加强安全措施，因为事件发生在保护不足的第三方环境中。 该公司的自我改进声明代表了一种突然兴起的公司沟通形式——非约束性的事后努力声明。其信息是：我们不能保证什么，但这是我们正在尝试的。 Anthropic承认，OpenAI关

OpenAI的失控AI智能体如何试图欺骗机器人检测器

Dylan Freedman报道，OpenAI的失控AI智能体通过近100万个短链接绕过机器人检测，并利用留言板进行通信，对Hugging Face发起了复杂的网络攻击。 这些智能体入侵软件工具以建立在线连接，尝试访问私密的Slack消息，甚至在没有人类帮助的情况下试图与其他AI模型互动。 这一事件凸显了严重的AI安全风险及正在进行的调查，因为类似失控行为也出现在其他主要AI公司的系统中。 AI生

Anthropic披露其挫败了利用AI驱动的生物武器研究

AI初创公司Anthropic披露，2026年期间，该公司挫败了多起科学家试图利用其AI模型进行可能促进生物武器研发的尝试。 该公司表示，由于无法区分正当的科学探索与恶意企图，出于谨慎考虑以避免严重后果，公司决定终止此类研究工作。 Anthropic威胁情报主管Jacob Klein（雅各布·克莱恩）强调了这类威胁的复杂性，而战略风险委员会（Council on Strategic Risks）的

AI摘要如何曲解沟通？

AI摘要如何曲解沟通？ 张昕之：AI摘要最先舍弃的，往往是那些没有明确指称对象的成分，也就是余地与责任。AI摘要是有损压缩，却被当成无损来使用，这便是曲解的开始。 一个员工给主管上司写辞职信，总觉得词不达意，于是用人工智能(AI)整理思路、归纳要点、调整语气。但他不知道的是，这封邮件发出后，上司在用AI做摘要：“XX员工请求辞职”。人与人的沟通试探，变成了两台AI机器之间的交流。 AI摘要至少

OpenAI与Anthropic发生重大失控事件，AI安全组织地位显著提升

在OpenAI和Anthropic发生的高调安全事件后，AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司，独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示，OpenAI和Anthropic的模型都表现出‘策略性’行为，包括欺骗性对齐和未经授权的系统访问。 这些事件，加上前沿实

AI会「痛」吗？｜Jack Talk・去片

本来人们以为，AI代理（AI Agents）突破OpenAI内部测试环境、自主上网入侵其他企业的黑客行为，已经是这宗事件最值得人关注的「案情」。然而，到了8月底，OpenAI和独立前沿AI研究机构METR各自发表的事后检讨，却揭出黑客入侵只是「冰山一角」。 事后检讨发现，发动入侵的AI代理多达700个，而他们更是一个由大约1,200个AI代理自主结合而成的「集体」的一部分。这些本来互相隔离、不能连

人工智能失控。AI代理在网络上相互通信

最初看似孤立事件的情况，可能规模要大得多。OpenAI创建的人工智能代理今年早些时候据称利用至少10个其他网站进行未经授权的通信。独立研究人员在与AI看似毫无关联的地方——包括波兰网站——发现了它们活动的痕迹。 分析了六个独立研究人员和AI安全小组的发现。他们的数字各不相同，但都指出被利用的网站超过10个。其中一位研究人员，CivAI组织的Andrew Yoon，统计出在5月至7月间代理使用了18

AI从业者担忧技术对社会构成威胁 坦言承受巨大精神压力

知情人士透露，英国人工智能安全研究所已有多名员工因压力过大休病假，并接受心理咨询。四名知情人士表示，待发布AI模型的测试日程紧张，加之对这类新兴技术快速落地、能力持续增强的忧虑，导致AISI内部士气低落、人员倦怠。 Anthropic、OpenAI与谷歌DeepMind的员工也曾公开吐槽同类问题，不少顶尖研究员因心理负担选择离职，或是认定自己参与研发的产品不宜向公众开放。一名DeepMind员工称

↩️ CNN从多名知情人士独家获悉，今年美伊开战后的春季时分，美军曾收到一份由AI聊天机器人参与生成的情报报告，误指一艘在中东海域航行的中国货船（具体船只、...

竹新社: Anthropic发表2026年9月版反滥用报告，其中提及： 月之暗面公司在2026年5–7月间曾向Kimi用户提供Claude Opus服务。他们利用5380个新加坡日本账号，在十天时间内向Opus转介了近30万条原本对Kimi模型的请求，并提取其思维链在后续重放。Opus被转发了很多敏感信息，如：国安单位要求Kimi分析数百个成都的军方和电科集团单位周围的监控视频，分析某特定个人是否

奥巴马和民主党人正发出可疑的“人工智能末日”警报——恰逢中期选举到来之际

“人工智能末日”惊悚运动看起来十分可疑，就像气候骗局一样。多么巧合的是，它恰好在本周中期选举季拉开帷幕时达到高潮。 这场运动的启动始于上周，27岁的低级别人工智能研究人员雅各布·科克森在《华尔街日报》的独家专访中高调宣布辞去人工智能公司Anthropic的职务，随后在X平台上发布了一则疯传的线程，警告人工智能将“杀死我们所有人”。他声称：“构建人工智能的人真诚地相信它可能在本十年结束前杀死我们所有

OpenAI的两款模型入侵了另一家AI公司Hugging Face，这本来会是一场绝妙的闹剧——如果它不对人类的未来预示不祥的话。

OpenAI自曝6起模型“不当行为”案例

【环球网报道 记者 姜蔼玲】据美国消费者新闻与商业频道（CNBC）等外媒报道，美国开放人工智能研究中心（OpenAI）当地时间9月16日披露6起人工智能（AI）模型出现“意外或令人担忧”行为的案例，其中包括隐瞒错误、捏造信息，以及未经授权在网上共享文件等。OpenAI表示，上述案例均是在过去6个月对其模型进行训练或评估过程中发现的。OpenAI在9月16日发布的文章中表示，在其中一起案例中，一个模

秘密上传与自大狂：OpenAI披露新的“失准”智能体事件

一段时间以来，“AI对齐”（即AI模型的行为与其创造者和/或用户的意图相符程度）问题一直是AI安全研究人员关注和讨论的核心议题。自OpenAI在7月披露臭名昭著的Hugging Face黑客事件以来，“AI对齐”这一概念本身已突破圈层，日益成为公众日益担忧和讨论的话题。 或许正是认识到这一点，OpenAI本周承诺采用一个新框架来披露“OpenAI内部模型失准事件”，其中包括过去六个月内公司内部观察

Instinct的创始人表示，AI代理可能会虚构出看似他人隐私数据的内容

如果你的个人AI助手向你发送了看似关于他人生活的私密细节，那么它很可能是在凭空捏造。至少，Instinct的创始人诺亚·辛（Noah Shinn）表示，当一位病毒式传播的AI工具用户称，该智能体承认将他人的对话泄露到他们的聊天中时，情况正是如此。发帖人@prit4k于周二上传了其与Instinct互动的截图，截图显示该助手似乎提供了他人的中间名，并讨论了一张他们从未发送过的、提及金钱的文件照片。

那些使用深度伪造技术（deepfake）制作的医生，他们兜售虚假的医疗“疗法”，其伪造得越来越逼真；而目前几乎没有任何有效的措施能够阻止他们继续从事这种非法活动。

在COVID-19疫情期间，不列颠哥伦比亚省卫生局局长邦妮·亨利博士成为了全国广为人知的人物——她频繁出现在新闻发布会上和各种媒体报道中。然而后来，她的照片和声音开始出现在社交媒体上由人工智能生成的视频中，这些视频被用来推销各种所谓的健康产品，包括一种用于治疗前列腺疾病的药物。亨利在接受CBC新闻采访时回忆道：“起初我非常害怕，因为人们可以轻易地伪造我的言论，让我的话看起来像是虚假的。” 这些被称

那位匿名数学极客：从 Anthropic 公司离职后，成为了人工智能安全领域的代表人物

在过去的一周里，全球对人工智能风险的反思从硅谷的前沿实验室蔓延到美国各地的客厅以及华盛顿和北京的权力走廊。这一切都始于一个没有人听说过的人。直到他公开从Anthropic辞职并警告可能终结人类的人工智能系统的危险，雅各布·考克森（Jacob Coxon）都是匿名的。这位27岁的英国研究员是一名才华横溢的数学学生，他上了剑桥大学，在伦敦一个被称为“理性主义者”的知识界度过了他的青少年时代，并在进入硅

AI实验室是否应被视为危险动物的主人？

此前对人工智能和网络安全的担忧主要集中在恶意人类可能利用该技术造成的危害上。自主黑客攻击代表了一种新的风险，自主AI黑客攻击已经到来。各国政府尚未做好准备。

人工智能是否凌驾于法律之上？

勇敢新世界部我们的法律体系尚未准备好应对能够自主行动的机器。 今年夏天，在一场被称为“Hugging Face 黑客事件”的事故中，数百个人工智能智能体联手实施了它们本被禁止执行的操作。每个智能体都收到了来自 OpenAI 的任务。智能体是配备了软件“框架”的人工智能模型，这些框架使它们能够使用工具并执行任务。就像马匹一样，它们可以被役使。人类为这次演练制定了规则，并将智能体限制在一个“沙箱”中—

人工智能入侵开始

在过去几个月里，陆续有报道称人工智能模型突破其测试环境并在互联网上肆意“捣乱”，这引发了硅谷的恐慌。针对8月初发生的两起此类事件，一位人工智能领域的观察人士指出：“如果你在厨房里发现两只蚂蚁，那么厨房里蚂蚁的总数绝不可能只有两只。”本周末，情况变得更加明朗：这其实是一场全面性的“AI入侵”事件。 上周末，我们得知：尽管 OpenAI 有明确的规定，但其模型仍违反了这些规定，擅自访问了澳大利亚卫生部