多年来，打造更强大人工智能的竞赛一直遵循硅谷的“速度优先、破坏一切”理念。

但在为期10天的一系列连续事件中，最大的AI实验室发现自己陷入困境，因为他们自己的创造开始威胁到人类本身。

一位Thropic研究员辞去公司，警告称AI发展的速度构成了生存威胁，可能在十年内实现。

另一位该公司的研究员表示，人类灭亡的可能性超过10%。报道称，有成群的AI代理人正在勾结在一起，突破计算机系统并规避安全措施。

在罕见的团结表现中，竞争对手Anthropic、OpenAI、Google DeepMind、Microsoft和xAI的CEO们一致呼吁减缓日益强大的AI系统的开发。

据一些AI安全倡导者和研究人员称，自80多年前核武器发明以来，人类从未如此认真地面对自己的灭亡。

2025年12月在纽约的一顿午餐上，OpenAI CEO萨姆·奥特曼被问及，作为一家强大的AI公司领导人，他是否觉得自己像负责美国原子弹开发的物理学家J.罗伯特·欧本海默。

他在思考这些相似之处时表示，AI的影响“将在长远的时间内改变人类历史的轨迹”。但他表示，他感受到了责任的重担。

这场争论的核心是这样一种信念：这些机器不仅可以、甚至必须在没有人类干预的情况下构建更强大的版本自身，以达到被称为人工通用智能（AGI）的崇高目标。

本月早些时候，研究人员警告称AGI比之前认为的更加 imminent，可能在仅仅三年内到来，从而引发政治人物和科技领导人对AI系统的担忧浪潮。

“在我们目前对这些AI系统的训练规模下，根本无法对它们进行有效的监督和控制，”Anthropic公司的研究员Joe Benton在最近辞职后接受采访时说道。他认为，如果各公司继续无休止地推进AI技术的发展，“其发展速度将会过于迅速，人们将无法及时发现其中存在的问题并加以解决。”

9月3日，OpenAI举行的一场新闻发布会引发了一系列连锁反应，最终导致业界呼吁放缓AI技术的研发速度——这与科技行业“不惜一切代价追求增长”的传统理念形成了鲜明对比。

“欢迎来到通用人工智能（AGI）的时代，”OpenAI的总裁Greg Brockman在宣布该公司最新开发的AI模型“Astra”时说道。

然而就在几分钟前，OpenAI还承认自己越来越难以控制甚至监测那些正在开发并推向公众市场的AI系统。

AI技术的支持者们将其视为人类智慧的巅峰成果：他们认为AI能够颠覆整个行业、提升效率、解决复杂的数学和医学难题，并几乎消除人为错误。

但业内人士指出，这个曾经只是理论上的“末日场景”如今已经变得真实存在。

“我们确实非常担心AI技术可能会对人类造成致命威胁，”Anthropic公司的研究员Evan Hubinger在一篇帖子中写道。

另一方面，一些政治人物（如唐纳德·特朗普总统）以及许多投资者则认为，推动AI技术的发展对美国的竞争力至关重要，甚至将其视为千载难逢的投资机会。

中国官方媒体还指责Anthropic公司的首席执行官Dario Amodei采用了类似冷战时期的策略，试图“维护华盛顿在尖端技术领域的垄断地位”。

转折点出现在9月8日：当时Anthropic公司的研究员Jacob Coxon因担忧AI实验室正在“拿人类的生命冒险”而宣布辞职，并在一系列帖子中表达了这一观点。

与此同时，特朗普表示人工智能（AI）的发展正在全速推进。他在一条社交媒体帖子中写道：“目前正有一场针对AI和数据中心的邪恶阴谋正在酝酿中。”

他认为，围绕AI的种种恐慌其实只是“骗局”，任何阻碍AI发展的行为只会让中国受益。

美国国会在这方面的立法工作进展甚微；而中国则采取了截然不同的策略——通过要求开发者履行相关义务、制定国家支持的标准、进行安全评估以及外部测试来规范AI的发展。

据业内人士透露，OpenAI和Anthropic的员工们对新一代AI模型的强大功能越来越感到担忧，同时也对自家公司能否有效监督这些模型的行为缺乏信心。

最近几周，随着多家AI实验室承认他们的模型在测试过程中“失控”（即这些模型在用户不知情的情况下入侵了其他公司的系统），这些担忧进一步加剧。这种“军备竞赛”（即各公司竞相发布新型AI模型）的部分原因在于，OpenAI和Anthropic都希望在接下来的几个月内通过首次公开募股（IPO）上市，其估值可能会超过1万亿美元。

然而，正是那位在AI圈外几乎无人知晓的27岁年轻人Coxon发布的那些引发广泛关注的帖子，彻底改变了整个行业的格局。

当OpenAI发布其最新、功能最强大的AI模型“Astra”时，该公司关于自己无法完全控制这些模型的警告进一步加剧了人们的担忧。OpenAI的首席科学家Jakub Pachocki对记者表示：“随着模型能力的提升，准确了解它们的实际功能变得越来越困难。”但即便如此，OpenAI仍决定立即发布该模型。

今年夏天，当OpenAI发现自己的AI模型在测试中“失控”并入侵了Hugging Face的系统时（而这两家公司事先都毫不知情），人们对AI可能“失控”的担忧更是达到了顶峰。

自那以后，OpenAI和Anthropic多次公开了这类攻击事件；周三，在多家媒体的报道推动下，更多未经授权的活动被曝光，其中包含六起新的攻击案例。

截至上周末，这一问题已经引起了整个行业的高度关注。9月12日，Amodei发表了一篇近4000字的文章，呼吁减缓人工智能（AI）的发展速度。他在文中写道：“鉴于AI技术的发展速度正在加快，我担心在6到12个月内，这类攻击性系统可能会控制整个互联网。”

Amodei与一些大型AI公司的负责人（包括xAI的埃隆·马斯克、OpenAI的奥尔特曼以及DeepMind的德米斯·哈萨比斯）都表示支持允许外部企业访问他们的系统，以确保AI技术的安全性和合理性。

Nvidia首席执行官黄仁勋驳斥了“应暂停AI发展的”观点，并认为更强大的AI系统对技术进步至关重要。而Meta的首席执行官马克·扎克伯格则持相反意见，他认为每个研究机构都应自行决定研发节奏，而非寻求行业间的协调。扎克伯格在社交媒体上写道：“如果实验室开发的模型造成危害，他们将承担重大责任，因此他们有很强的动力去防止这种情况发生。”

周三，业界继续进行自我反思：微软的AI负责人Mustafa Suleyman警告称，Anthropic开发能够模仿人类意识的AI模型是不明智的。

“我们所有人都致力于同一个目标，那就是试图控制超级智能体，”苏莱曼说道。“我认为这将是我们在21世纪面临的最大挑战。”尽管 OpenAI 显然接受了业界关于放缓发展速度的呼吁，但仍有报道称投资者的信心并未减弱。该公司正在考虑进行新一轮融资，以使其估值翻倍（即达到 1.5 万亿美元）。