本月早些时候，人工智能研究员雅各布·考克森在 Anthropic 工作仅四个月后辞职。他在 X 平台发布声明称：“构建 AI 的人们真诚地相信，到本世纪末，AI 可能会杀死我们所有人。”Anthropic 的高级员工埃文·哈宾格实际上同意考克森的观点，并补充说，他个人认为这种情况在未来十年内发生的概率超过 10%。
不出所料，这些言论引起了轩然大波。现在关于放缓 AI 研究和加强对该技术的“人类控制”的讨论很多。
但 AI 究竟如何可能消灭我们所有人？关于这方面的奇幻场景不胜枚举，其中大多数都涉及“超级智能” AI 的概念——即比人类更有能力的 AI。
我将这些场景提炼为前五名，大致按从最模糊到最精确的顺序排列。我认为这份清单也按从最不可能到最可能的顺序排列。
- 我们永远不会知道AI 悲观论者经常用一个恼人的“二十二条军规”式悖论来为他们的担忧辩护：我们怎么可能想象出超级智能可能会做什么来消灭像我们这样智力较低的生物？
我们必须拥有超级智能，才能预测超级智能能做什么。这就像让你家的狗去想象热核战争。
这里的好消息是，超级智能或许还很遥远。目前的 AI 模型擅长解决特定问题，但这并不等同于在所有领域都比人类更聪明。
然而，AI 最近解决了七大最棘手数学难题之一。它显然正在逼近其他难题，这可能会让你对这一点不那么乐观。
- 回形针超级智能 AI 很可能在实现其目标方面表现出非凡的能力。但它可能对人类生存漠不关心。
这种冷漠的典型例子来自牛津哲学家尼克·博斯特罗姆设想的一个超级智能 AI，它被设计用于优化回形针生产。为了生产其偏好的办公用品形式，它迅速将所有可用物质——包括人类、行星和恒星——转化为回形针。
这里呈现的是目标设定不当却被完美执行的案例。AI 并不仇视人类；它只是意识到我们是由原子组成的，而这些原子若用来制造回形针会更有价值。这不针对个人。
好消息是，这种情景混淆了智能与权力。超级智能 AI 不一定拥有实现其目标的权力。将地球变成回形针工厂需要规划许可。
即使拿到了许可，建设过多的回形针工厂也会不可避免地引发公众强烈抗议。利益集团会在法庭上阻挠程序，环保活动家会阻挠推土机。
世界上存在大量摩擦，阻止即使极其聪明的实体也无法将意志强加于我们。事实上，你可以把数据中心看作是理论上的回形针情景的当前具象化。而人类正日益反抗将地球交给数据中心。
- 生物武器人类可能会被超级智能 AI 制造并释放到大气中的某种危险新型生物武器所消灭。事实上，这正是致力于预测先进 AI 影响的非营利组织“AI 未来项目”所设想的“AI 2027”情景中的一种结局。
上个月，斯坦福大学的研究人员宣布，他们利用一种基因语言 AI 模型合成了 16 种新病毒，这让这一风险变得更加具体。
令人担忧的是，他们只需将基因序列发送给一家邮购实验室，实验室便将病毒装在试管中寄回。整个实验的成本顶多只有几十万美元。
这里的好消息是，用一种新病毒消灭全人类非常困难。要做到这一点，你需要一种传播力极强的病毒，以便它能广泛传播。但这是生物学规律——容易传播的病毒通常致死率较低。相反，如果一种病毒致死率很高，其传播力往往会下降，因为大多数感染者在有时间传播感染之前就已经死亡了。
新冠病毒导致的死亡人数不到人类总数的1%。有记录以来最致命的大流行是黑死病，14世纪时鼠疫夺去了欧洲三分之一以上人口的生命。然而，即使是鼠疫，在今天由于我们医学知识的增加和卫生条件的改善，其致死性也会低得多。
- 核战争如果AI进入核指挥和控制链并引发核战争，会怎样？在过去50年里，我们曾多次因误判而濒临核战争边缘。
我们被告知核指挥和控制系统与互联网完全隔离。但正如我们在2010年所见，伊朗的核离心机被一种名为“震网”（Stuxnet）的计算机蠕虫瘫痪，据信是通过U盘带入的。AI还可能向军方提供虚假情报，从而导致无法挽回的行动。
这里的好消息是核武库存量在下降。但它们仍足以消灭我们或许一半的人口。而这不会是直接死于核爆炸本身，而是死于随之而来的核冬天导致的饥荒。
- 其他人类也许最大的风险是我们自我毁灭。而AI可能会加速这一进程。
想象一下——这不需要太多想象力——AI导致大规模失业，用虚假信息污染信息空间，撕裂我们的政治，并用虚假的合成陪伴摧毁人际关系。
社会很容易崩溃。慢慢地但必然地，我们将不再能够以任何规模维持人类生存。
那么，从所有这些情景中我们能得出什么结论？确实有一些事情值得担忧。但希望不必过度担忧。
托比·沃尔什是人工智能教授、新南威尔士大学研究组负责人。他是《上帝AI：繁荣还是毁灭？当机器超越人类时我们该期待什么》的作者。本文最初发表于《对话》杂志。