本周，一场网络恐慌爆发，因为数百万人发现，顶尖AI研究人员经常辩论并计算人类灭绝的风险。

表面上看，这些概率是10%、20%，有时甚至更高，被赋予AI灾难的可能性。

为什么一场关于“”的深奥辩论突然成为立法者、投资者和数百万普通人的本能问题？我们为什么要奔向一种其创造者自己都认为可能毁灭我们的技术？

驱动因素：Anthropic研究员雅各布·考克森（Jacob Coxon）的辞职帖——他此前曾在OpenAI工作——在X上获得了超过1.1亿次浏览，他指责前沿实验室“拿我们的生命赌博”。

当Anthropic对齐科学团队负责人埃文·胡宾格（Evan Hubinger）公开支持考克森时，这一警告变得更具爆炸性——他说“我们真的真诚地相信AI可能杀死全人类”。胡宾格表示，在他看来，未来十年内人类灭绝的概率超过10%，而Anthropic仍然没有计划如何将超级智能置于人类控制之下。

重大之处：胡宾格的文章被广泛解读为要么是噩梦般的沟通失误，要么是Anthropic在可能使公司估值达到2万亿美元的IPO前几周精心策划的恐惧营销。

实际上，他的立场多年来一直得到AI界最具影响力人物的呼应。诺贝尔奖得主、“AI教父”杰弗里·辛顿（Geoffrey Hinton）估计，AI导致人类灭绝的概率为10%–20%。

埃隆·马斯克（Elon Musk）将这一风险定为高达20%。Anthropic首席执行官达里奥·阿莫代伊（Dario Amodei）去年告诉Axios，事情“非常非常糟糕”的概率为25%。他们所说的“末日”是多种灾难路径的统称，从恶意行为者将强大AI武器化，到先进系统脱离人类控制。

人类与AI结合可能大幅降低设计生物武器、发动毁灭性网络攻击或瘫痪关键基础设施的门槛。

机器：一个足够自主的系统可能欺骗其监督者、自我复制、规避保障措施并抵抗关闭尝试。

噩梦场景：AI开始以快于人类理解或遏制过程的速度改进AI，最终产生其创造者无法控制的过于强大的系统。

放大：支撑这些p(doom)估计的世界在短短一年内发生了巨大变化，因为前沿AI在自主性、网络能力以及加速AI研究本身的能力方面取得了惊人飞跃。

周三加入OpenAI董事会和安全委员会的前OpenAI对齐负责人保罗·克里斯蒂亚诺（Paul Christiano）表示，他同样担心AI进入快速自我改进循环的安全问题。

“如果我们构建超级智能而没有更稳健的对齐，我预计我们将永久失去对它的控制，”克里斯蒂亚诺写道。“如果发生这种情况，那么大多数人可能会死亡。”

在AI研究人员之间，他们使用一种概率方言，对大多数普通人来说听起来完全陌生。

在实验室内部，10%的p(doom)可以是对前所未有的技术巨大不确定性的简写。在日常生活中，几乎没有人会容忍飞机、药物或核反应堆存在这种风险。

想象一下，波音的安全负责人在起飞前告诉你，下一代飞机有十分之一的概率以灾难告终——而且波音仍然不知道如何使其安全。

接下来是什么：这就是实验室外越来越多听到这些警告的方式——作为安全警报，而不是概率思想实验。

在华盛顿，警报正缓慢响起。参议员伯尼·桑德斯（Bernie Sanders）已提议禁止超级智能，并于下周召集参议员就AI的“非凡危险”进行简报。更大的政治风险是，在灭绝进入主流对话之前，美国人就已经因就业、电费和数据中心而对AI产生反感。