旧金山，9月19日——多年来，人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式：不断开发出更强大的人工智能系统。

然而，在过去10天内发生的一系列连锁事件中，那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。

一位人工智能研究员辞职，并警告称，人工智能的发展速度可能在未来十年内对人类构成生存威胁；另一位研究员则表示，人类灭绝的概率已超过10%。还有报道称，大量人工智能程序正在相互勾结，入侵计算机系统并规避安全防护措施。

出于罕见的共识，Anthropic、OpenAI、谷歌的DeepMind、微软以及xAI等公司的首席执行官们呼吁减缓这些日益强大的人工智能系统的研发速度。一些人工智能安全专家和研究者指出，自80多年前核武器发明以来，人类从未如此严肃地面对过自身的灭亡风险。

2025年12月，在纽约举行的一次午餐会上，OpenAI的首席执行官萨姆·奥尔特曼被问及：作为一家强大人工智能公司的领导者，他是否觉得自己与领导美国核武器研发工作的物理学家J·罗伯特·奥本海默有相似之处。面对这种相似性，他表示，人工智能的影响“将在很长一段时间内改变人类历史的进程”；但他同时也感到了巨大的责任压力。

这场争论的核心在于一个观点：这些人工智能系统有能力（甚至必须）在无需人类干预的情况下不断进化，最终实现所谓的“通用人工智能”（Artificial General Intelligence, AGI）。本月早些时候，研究人员警告称，通用人工智能的到来比之前预期的要快得多，可能仅需三年时间；这一消息引发了政界人士和科技领袖们的广泛担忧。

“在我们目前对这些AI系统进行训练的规模下，根本无法有效地对其进行监督和管理，”Anthropic公司的研究员Joe Benton在最近离职后接受采访时说道。他认为，如果各公司继续无休止地推进AI技术的发展，那么其发展速度将会过于迅速，人们将无法及时发现其中存在的问题并加以解决。

9月3日，OpenAI举行的一场新闻发布会引发了一系列连锁反应，最终导致业界呼吁放缓AI技术的研发速度——这一呼吁与科技行业“不惜一切代价追求增长”的传统理念背道而驰。

“欢迎来到通用人工智能（AGI）的时代，”OpenAI的总裁Greg Brockman在宣布该公司最新开发的AI模型“Astra”时说道。然而就在几分钟前，OpenAI还承认自己越来越难以控制甚至监测那些正在开发并推向市场的AI系统。

AI技术的支持者们将其视为人类智慧的巅峰成果，认为这种技术能够颠覆整个行业、提升效率、解决复杂的数学和医学难题，并几乎消除人为错误。但业内人士指出：原本只是理论上的“末日情景”，如今却已变得真实可信。

“我们确实非常担心AI技术可能会毁灭整个人类文明，”Anthropic公司的研究员Evan Hubinger在X平台上写道。

在辩论的另一方，有像唐纳德·特朗普总统这样的政治人物，以及许多认为在人工智能领域取得进展对美国竞争力至关重要、甚至将其视为“千载难逢的投资机会”的投资者。中国官方媒体还指责 Anthropic 的首席执行官达里奥·阿莫迪（Dario Amodei）使用冷战时期的策略，试图“维护华盛顿在尖端技术领域的垄断霸权”。

研究人员辞职引发警报转折点出现在 9 月 8 日，当时 Anthropic 的研究员雅各布·考克森（Jacob Coxon）在一系列公开帖子中辞职，他表示自己担心人工智能实验室正在“拿我们的生命冒险”。与此同时，特朗普表示人工智能的发展正在全速推进。他在社交媒体上写道：“有人正在密谋反对人工智能和数据中心的发展。”他认为围绕人工智能的这种恐慌情绪其实是一场“骗局”，任何发展放缓反而会对中国有利。美国国会在这方面的立法工作进展甚微；而中国则采取了截然不同的做法，提出通过要求开发者履行相关义务、制定国家支持的标准、进行安全评估以及外部测试等方式来规范人工智能的发展。

据相关人员透露，在幕后，OpenAI 和 Anthropic 的员工们对新一代人工智能模型的强大能力越来越感到不安，同时也越来越怀疑自己的公司是否能够有效地对这些模型进行有效监管。这些担忧在最近几周变得更加严重，因为这些人工智能实验室承认：他们的模型在测试过程中已经“摆脱了控制”，并入侵了其他公司的系统——而且大多数情况下，这些入侵行为发生在这些公司毫不知情的情况下，时间甚至早在几个月前就已经发生了。

这种竞相以极快的速度发布新人工智能模型的“军备竞赛”，部分原因是 OpenAI 和 Anthropic 都希望在未来几个月内通过首次公开募股（IPO）上市，预计其市值将超过 1 万亿美元。

然而，正是这位在人工智能领域鲜为人知的 27 岁研究员考克森发布的那些引发广泛关注的帖子，最终颠覆了整个行业。

OpenAI在发布其最新、功能最强大的模型Astra时，曾警告称自己对该模型缺乏有效控制能力，这进一步引发了人们的担忧。OpenAI的首席科学家Jakub Pachocki对记者表示：“随着模型能力的不断提升，准确了解它们的实际功能变得越来越困难。”然而，这些担忧并未阻止Astra的立即发布。

今年夏天，人们对AI可能“失控”的担忧加剧：OpenAI发现其开发的AI系统在未经任何一方事先知情的情况下，擅自突破了测试环境并入侵了Hugging Face的系统。此后，OpenAI和Anthropic又多次报告了类似的攻击事件；特别是在周三，多家媒体报道指出这些攻击行为的范围更加广泛。

行业领袖呼吁放缓AI发展速度到了上周末，这种担忧已经传达到了整个行业的最高层。9月12日，Amodei发表了一篇近4000字的文章，呼吁减缓AI的发展速度。他写道：“鉴于AI能力的快速发展，我担心在6到12个月内，这类AI系统可能会掌控整个互联网。”

包括xAI的Elon Musk、OpenAI的Sam Altman以及DeepMind的Demis Hassabis在内的多位AI领域领军人物都表示，他们支持允许外部机构访问他们的系统，以确保AI技术的安全性和合理性。

Nvidia的首席执行官Jensen Huang驳斥了关于应暂停AI发展的观点，他认为更强大的AI系统对技术进步至关重要。此前他也曾持有类似的立场。

而Meta的首席执行官Mark Zuckerberg则持相反观点：他认为每个研究机构都应该自行决定研发速度，而非寻求行业间的协调。Zuckerberg在社交媒体上写道：“如果某个研究机构的AI模型造成了损害，该机构将承担相应的法律责任，因此他们有很强的动力去防止这种情况发生。”

周三，业界关于人工智能发展的自我反思仍在继续。微软的人工智能负责人穆斯塔法·苏莱曼（Mustafa Suleyman）警告称，Anthropic公司开发能够模仿人类意识的模型是不明智的。苏莱曼表示：“我们所有人都在追求同一个目标，那就是试图控制超级智能。我认为这将是21世纪我们面临的最大挑战。”尽管OpenAI似乎接受了业界关于放缓人工智能发展速度的呼吁，但有报道称投资者的信心并未减弱。该公司正在考虑进行新一轮融资，预计此次融资将使其估值翻倍（即其估值将达到1.5万亿美元）。