关于全球 AI 恐慌的许多方面——它真的可能“在本十年末毁灭我们所有人”吗？——确实是全新的，因此格外令人恐惧。然而，人类自造灭绝的幽灵并非新鲜事物；我们已有约八十年的思考经验。
那么，在我们试图理解人工智能未来走向时，能从核武器领域汲取哪些隐喻和教训？
最古老的隐喻之一来自 J·罗伯特·奥本海默，他有时被称为“原子弹之父”。1953 年，当华盛顿和莫斯科已具备相互毁灭并辐射全球的能力时，他将美国和苏联比作“瓶中的两只蝎子，每只都能杀死对方，但只能冒着送命的风险”。
在当时如日中天的博弈论中，奥本海默的比喻常与“囚徒困境”相提并论，后者分析的是两名被分别审讯的被捕者在合作或背叛方面的激励机制。其结论是：如果双方能互信，合作对双方都更有利；但既然无法互信，背叛可能是更理性的选择。
囚徒困境 这些蝎子，或囚徒，与当今 AI 革命中的竞争者有几分神似，无论他们是公司（如 OpenAI 和 Anthropic），还是两个 AI 超级大国——美国和中国。
是的，正如 Anthropic 首席执行官所敦促的，如果竞争对手开始通过“控制前沿节奏”来合作——自愿放缓脚步，给监管者赶上来的时间——那对他们和全人类都更安全。
但各方都必须假设对方可能作弊，因此继续竞赛可能更安全，即使那会导致蝎子同归于尽或囚徒结局凄惨。
“谁在人工智能领域获胜，谁就赢得了一切，”美国总统唐纳德·特朗普曾表示，他认为美国领先一步，没有理由放慢脚步。北京只要稍微落后，就不敢松劲，否则就会输掉一切。于是双方都全速冲刺。
信不信由你，奥本海默的隐喻在今天的语境下，或许过于乐观——或者说不够悲观。当理性博弈者在囚徒困境中进行多轮博弈（而非仅一次）时，他们可以达到稳定。冷战时期的威慑平衡便是如此。
一场“胆小鬼博弈” 但正如本周顶尖人工智能学者所明确指出的，人工智能在短短几个月内突飞猛进，没有任何一点是稳定的。诺贝尔奖得主、核战略泰斗托马斯·谢林使用的一个隐喻可能更为贴切。
随着冷战升级，谢林设想了一种情境：两个对手置身于“满屋汽油”的房间中，各自手持火柴。谁也无法可信地威胁要划着火柴，因为大火会将两人同烧。
但双方都可以通过挑衅或误判，因意外升级或事故，增加被烧毁的风险。
谢林描述的是一种边缘政策情境，在博弈论中用“胆小鬼博弈”来描述：两名驾驶员相向疾驰。如果一方转向，另一方获胜。如果双方都转向，无人获胜，但双方都安全。如果双方都不转向，就会撞车。放在今天的人工智能语境下，撞车可能意味着灭绝。
囚徒困境尚容许理性存在（即便是在这个混合隐喻中的蝎子），而“胆小鬼博弈”描述的则更多是控制的丧失，用谢林的话说，是一种“将某些东西交给运气的威胁”。这似乎正是在描述AI竞赛：美国公司，推测中国公司也是如此，正在创建大语言模型和其他能够自主操纵或攻击其他系统的智能体，且已经付诸行动。
仿佛这还不够可怕，行业还进入了“递归自我改进”阶段，AI智能体自主构建下一代更强大的模型。这就像在一个充满汽油的房间里，火柴不仅自行擦出火花，还在制造新火柴，继而打造出精密的喷火器。
达摩克利斯之剑 这使得局势悬于达摩克利斯之剑之下。美国前总统肯尼迪曾在联合国演讲中引用这一典故。
他说：“这颗星球上的每一个居民都必须设想这样一天：这颗星球可能不再适合居住；每一个男人、女人和孩子都生活在核达摩克利斯之剑之下，它仅系于一根极细的线，随时可能因意外、误判或疯狂而被斩断。”这种疯狂，酷似我过去一周脑海中浮现的AI智能体失控的景象。如果奥本海默的蝎子让我们联想到报复，谢林的汽油房唤起不可控的风险，那么达摩克利斯之剑则通过假设的不是个别参与者灭亡，而是物种灭绝，概括了这种恐慌。
达摩克利斯之剑既寓意绝望，也留有希望。希望在于，肯尼迪发出呼吁后的岁月里，世界实现了一种缓和，达成了防扩散和军控条约（遗憾的是，那个时代正悲剧性地重新滑向军备竞赛）。
放在今天，这意味着集体控速、相互核查，以及由华盛顿、北京等主导的协同监管。
这场竞赛无法取胜，绝不能开打 更好的做法是，美中双方可以开始玩另一种博弈，称为“猎鹿博弈”。它设想两名猎人必须决定是否合作猎杀一头鹿，这能让他们俩长久地果腹。如果一方背叛，另一方一无所获，而背叛者只能得到一只兔子。
在当今语境下，鹿代表人工智能可能为人类带来的巨大利益，从治愈疾病到解决其他难题。核技术的红利主要在于发电；而超级智能的额外收益可能大得多。令我肃然起敬的是，冷战时代的那些隐喻和博弈论失效的节点。
我们思想实验中的蝎子、囚徒、赛车手及其他角色，都代表拥有能动性、与外生技术（即核裂变）互动的人类。但当人工智能模型本身成为玩家时，会发生什么？
人工智能至少在内在层面上，不具备我们人类避免灾难的本能——这种差异被委婉地称为“对齐问题”。仅这一洞见，就足以解释为何必须始终让人类参与决策回路，且速度不得超过人类的反应速度。
这也是晚期冷战领导人早已吸取的教训：一场失控的人工智能竞赛，如同核战争，无法取胜，绝不能开打。