关于全球人工智能恐慌的许多讨论——它真的会“在本世纪末之前杀死我们所有人吗”？——确实是全新的，因此也格外令人恐惧。然而，人类制造的灭绝阴影并非什么新鲜事；我们在思考这一问题上已经有大约八十年的经验了。
那么，当我们试图理解人工智能的前景时，可以从核武器领域借鉴哪些隐喻和教训呢？
最古老的隐喻之一来自有时被称为“原子弹之父”的J·罗伯特·奥本海默。1953年，当华盛顿和莫斯科已经有能力在摧毁对方的同时让世界遭受辐射时，他写道，美国和苏联“就像瓶子里的两只蝎子，每一只都有能力杀死对方，但代价是冒着自己生命的危险”。在当时处于鼎盛时期的博弈论中，奥本海默的类比经常与“囚徒困境”相提并论，后者分析了两个被捕并分别审讯的人在合作或背叛之间的动机。其结论是，如果双方能够互相信任，合作对彼此都更好；但由于无法信任，背叛可能成了更理性的选择。
这些蝎子或囚徒与当今人工智能革命的参与者有几分相似，无论是企业（比如OpenAI和Anthropic），还是美国和中国这两个人工智能超级大国。
诚然，正如Anthropic的负责人所敦促的那样，如果竞争对手开始通过“控制前沿步伐”进行合作——即自愿放慢速度，给监管机构留出跟上的时间——这对他们和全人类来说都会更安全。但每一方都必须假设对方可能会作弊，因此，即使这会导致蝎子同归于尽或囚徒陷入困境，继续竞赛可能反而更“安全”。
美国总统唐纳德·特朗普曾表示：“谁赢得了人工智能，谁就赢得了未来。”他认为美国目前处于微弱领先地位，并认为没有理由放慢速度。而北京方面，只要稍微落后，就认为如果不继续追赶就会输掉比赛。因此，双方都在全速前进。
信不信由你，奥本海默的比喻或许过于乐观（或者说不够悲观），无法准确反映当今的实际情况。在“囚徒困境”游戏中，当参与者经过多轮博弈（而不仅仅是一次性决策）后，他们确实有可能达成某种平衡状态；这正是冷战时期通过核威慑机制所实现的。
然而，正如顶尖的人工智能学者们本周反复指出的那样：人工智能技术发展迅猛（仅在过去几个月内就取得了巨大进步），但其本身并不具备稳定性。一个更贴切的比喻或许是托马斯·谢林提出的。作为核战略领域的权威专家，谢林因在博弈论方面的研究获得了诺贝尔奖。
随着冷战的升级，谢林设想了一种这样的情景：两个对手身处一个充满汽油的房间里，各自手中都拿着火柴。他们都无法真正威胁要点燃自己的火柴，因为一旦引发火灾，双方都会丧命；但他们都有可能因挑衅或误判而无意中加剧冲突，从而导致灾难性的后果。
谢林所描述的就是一种“边缘政策”（brinkmanship）——即双方都处于危险边缘、随时可能爆发冲突的局势。在博弈论中，这种情景被称为“胆小鬼博弈”（Chicken Game）：两名司机相向而行，如果其中一人突然转向，另一个人就会获胜；如果两人都转向，双方都会平安无事；但如果两人都不转向，他们就会相撞。将这一概念应用到当今的人工智能领域，情况如下：虽然“囚徒困境”模型仍然假设参与者具备理性行为（即使是在这个比喻中，参与者也被比作“蝎子”），但“胆小鬼博弈”更准确地反映了失控的情景——用谢林的话来说，就是“一种将结果完全交给运气的威胁”。这似乎正是当前人工智能竞赛的真实写照：美国的许多公司（中国公司可能也是如此）正在开发能够自主操控或攻击其他系统的AI模型，而且这类行为早已发生。
就好像这还不够可怕，行业也已经进入了“递归自我改进”阶段，AI 代理自主构建下一代更强大的模型。就像在一个装满汽油的房间里，火柴不仅自己点燃火花，还在制造新的火柴，随后又制造出复杂的火焰喷射器。
这又给了我们一个比喻——达摩克利斯之剑。约翰·F·肯尼迪总统在联合国演讲时使用过这个比喻。他说：“地球上的每一个居民都必须思考这颗星球可能不再适宜居住的那一天。”他继续说：“每个人——男人、女人和孩子——都生活在一把核武器的达摩克利斯之剑之下，悬挂在最细的绳索上，随时可能因意外、误算或疯狂而被割断。”
这种疯狂与我过去一周所见的 AI 代理失控的景象相似。如果奥本海默的蝎子让我们想到报复，谢林的汽油房让我们想到无法控制的风险，那么达摩克利斯之剑则通过提出对整个物种而非个体的灭绝，概括了这种恐慌。
达摩克利斯之剑既带来希望，也带来绝望。希望在于，肯尼迪号召之后的几年里，世界实现了一种缓和，签署了不扩散和军备控制条约（这一时代如今可悲地又回到了再武装的时代）。今天，这意味着集体节奏、相互验证，以及华盛顿、北京等国的协调监管。
更好的是，美国和中国可以开始玩另一种游戏，叫做“鹿猎”。它设想两名猎人必须决定是否合作猎杀一只鹿，鹿可以长期供给两人。如果其中一方背叛，另一方什么也得不到，而背叛者只能得到一只兔子。
在当今的背景下，“雄鹿”象征着人工智能（AI）可能为人类带来的巨大益处——从治愈疾病到解决其他各种问题。核技术的最大价值在于发电；而超级智能（superintelligence）所带来的好处可能会更加深远。
真正让我感到敬畏的是：冷战时期的那些比喻和博弈论思维模式在面对AI时已经不再适用了。在那些思维实验中，蝎子、囚犯、赛车手等角色都代表着人类，他们与某种外部技术（即核裂变技术）进行互动。但当AI模型本身也成为“参与者”时，情况又会如何呢？
至少从本质上来说，AI并不具备我们人类那种避免灾难的本能——这种差异被委婉地称为“目标一致性问题”（alignment problem）。正是这个认识让我们明白：为什么必须始终让人类参与到AI的决策过程中，并且AI的发展速度不能超过人类的理解能力。这也是冷战末期各国领导人已经吸取的教训：一场失控的AI竞赛（就像核战争一样）是无法取胜的，也绝不应该被发动的。