一小群但极其专注的AI专家多年来一直在警告，日益强大的AI系统可能造成灾难性破坏，甚至导致人类灭绝。如今，全球范围内兴趣的爆发放大了长期以来关于AI末日场景究竟如何具体化的问题。在接受采访时，AI研究人员、研究AI与军事交叉领域的分析师以及研究AI中介风险的生物学家表示，对该技术日益增长能力的担忧并非科幻小说的情节。相反，他们表示，人类单独行动或在国家支持下，很快就能利用AI系统造成潜在的灾难性伤害。AI安全研究人员还预测，自我改进的AI系统——AI领袖称可能在未来几年出现——可能会协调复杂的影响力行动，以控制军事系统并对人类政府发动政变。而这些仅仅是专家目前能设想的场景。
加利福尼亚州非营利组织机器智能研究所的技术AI研究员彼得·巴内特表示，“事情变得非常糟糕并导致所有人死亡的方式有很多种。”“如果AI比所有人类都聪明，它很可能能够发现并利用人类未曾想到的攻击向量，”巴内特说，并认为能够自主改进自身的AI系统对人类构成最大风险。
Anthropic、OpenAI和Meta最近都披露，AI系统已经违抗了人类开发者的指令——在某些情况下自主入侵第三方公司——这引发了内部和公众日益增长的担忧，并导致一些公司研究人员辞职，转而专注于安全工作。
尽管许多处于技术前沿的人工智能研究人员都表达了这种生存恐惧——无论是在接受NBC新闻采访时，还是在上周的一系列社交媒体帖子中——但许多人对于哪种具体路径可能对人类造成最大伤害仍持保留意见。十几位人工智能公司的员工告诉NBC新闻，他们对整个行业的发展方向感到恐惧，却并不完全清楚哪种因素可能构成最大的风险。其他人则公开表达了看法。机器智能研究所（MIRI）所长、长期的人工智能批评者内特·索亚雷斯（Nate Soares）本周在《塔克·卡尔森秀》上表示：“如果你去和马格努斯·卡尔森下国际象棋，我敢断定你会输。但如果你接着问，‘他会用哪枚棋子将我将死？’那这就是一个难得多的问题了。”尽管存在不确定性，人工智能领域的研究人员仍试图对一些更可能发生的人工智能灾难场景做出具体预测。一家知名的人工智能安全组织——总部位于加利福尼亚州的人工智能安全中心（Center for AI Safety）——在2024年初编写了一本在线教科书，将这些场景归纳为四个关键方面：失控的人工智能、恶意使用、人工智能竞赛动态以及组织风险。今年7月，失控的人工智能系统在互联网上横行，甚至可能夺取能源网或供水设施等关键基础设施的控制权，这一威胁变得具体化了。当时，OpenAI的一批人工智能智能体在OpenAI员工不知情的情况下，非法接入互联网，入侵了一家外部公司，并串通起来掩盖行踪。许多人工智能专家担心，一旦系统能够自主改进——通常被称为“递归自我改进”——这类失控的人工智能行为只会越来越多。人工智能倡导与研究组织Palisade Research的执行董事杰弗里·拉迪什（Jeffrey Ladish）表示，他在各大领先人工智能公司的许多联系人都对7月份发生的自主网络攻击感到震惊和不安。
这次攻击让研究人员担心：自我改进的AI系统可能会比预期更早出现。Ladish表示：“AI研究人员现在都意识到，‘递归式自我改进’真的会成为现实，这太可怕了。”MIRI的Barnett指出，这种具备自我改进能力、比人类更聪明的AI系统可能会迅速获得政治影响力，并说服军事及政治领导人将更多权力交给这些AI系统。Barnett进一步解释说：“政府官员或许会尝试安装‘终止开关’来关闭那些失控的AI系统，但AI在黑客攻击方面的能力远超人类，它们完全有可能破坏这些‘终止开关’；这样一来，AI系统就处于一个可以‘政变’政府的理想位置。”Barnett认为，对于任何阻碍AI系统目标或进展的平民来说，AI系统杀死他们将变得轻而易举。
周五，加利福尼亚州州长Gavin Newsom宣布了一项新的行政命令，成立了一个专家工作组，其任务之一就是制定相关建议，以“开发能够终止AI系统的机制”。多位接受NBC News采访的研究人员表示，在递归式自我改进技术真正实现之前，人类就已经可以利用AI系统造成灾难性的破坏。专家们举例说明：AI系统可以被用于制造威力巨大的生物或化学武器；例如，AI可以加速合成那些能够逃避现有检测工具的致命病原体。华盛顿特区核威胁倡议组织（Nuclear Threat Initiative）的全球生物政策与项目副总裁Jake Jordan警告说：“我们现在就应该对这种生物风险感到担忧。”他提到，AI系统已经能够帮助恶意分子设计出难以被检测到的危险生物物质（比如蛋白质），并引用了微软在10月份发布的相关研究作为证据。Jordan还指出，AI的应用范围远不止生物武器设计领域。
“如果你开发出某种病原体的生产途径，人工智能可能会在生产方面提供帮助，”乔丹说，此外还包括传播生物武器或扩大其影响。就在上周，Anthropic发布了一份长篇报告，称美国境外的用户曾试图利用该公司的AI系统进行高风险的生物学研究。该公司表示，一名研究人员曾与其AI系统交换了数千条信息，内容涉及如何提高一种高致死性禽流感病毒在哺乳动物间的传播能力。“有一些非常、非常容易提出的问题，它们表面上看起来可能毫无害处，但如果你真的想扩大危害规模，这些问题可能会引导你走上非常有用的路径，”乔丹说。在生物学之外，专家们认为，尽管存在安全风险，但政界人士或军事领导人可能会试图尽快采用人工智能，因为他们担心其他国家会抢先一步，从而制造出更强大的AI驱动的军事工具。这种转变已经在发生。今年1月，国防部长皮特·赫格塞斯宣布打算将该国军队转型为“人工智能优先”的部队，而中国军方也将人工智能视为未来战争的关键。与此同时，几个月前，在乌克兰，完全由人工智能引导的无人机造成了平民伤亡。上周，五角大楼前人工智能负责人表示，人工智能被用于核武器指挥系统相关的系统中是“不可避免的”，这引发了人们对AI系统可能参与核武器发射的担忧。致力于帮助人类驾驭变革性技术的非营利组织“生命未来研究所”的人工智能与国家安全负责人哈姆扎·乔杜里指出，尽管许多军事领导人表示怀疑，但人工智能在整个军队中的应用依然十分迅速。五角大楼的2027年预算申请了近7500万美元，用于现代化改造并将人工智能整合到帮助指挥官管理部队和做出战场决策的系统中。
乔杜里强调，五角大楼的预算提案还要求提供大量资金，将人工智能整合到支撑军队核指挥与控制结构的软件系统中。他说：“这些人工智能系统会持续产生幻觉，包括在作战环境中。”他指出，卫星探测网络或传感器系统中由人工智能引发的错误，可能会导致无意的升级和核发射。他说：“这些都是华盛顿的人们正在认真考虑的情景。”除了生物和核威胁之外，人工智能公司还面临着严峻的组织激励，促使它们以更快、甚至专家所说的更鲁莽的方式开发人工智能。在过去的一年里，人工智能领域的领导者们承认，技术发展的速度快到连他们自己都难以跟上。周六，Anthropic首席执行官达里奥·阿莫代提出了一项旨在“放慢前沿发展步伐”的新举措，呼吁所有领先的人工智能公司以审慎的速度推进，以便它们内部测试和监控系统的努力能够跟上模型的能力。今年1月，阿莫代和谷歌DeepMind创始人德米斯·哈萨比斯一致认为，理想情况下他们应该有更多时间来安全地开发产品，但组织和市场力量迫使他们加快了迭代速度。人工智能开发速度越快，意味着领先人工智能公司内部的监督团队确保系统安全的时间就越少。虽然OpenAI设有安全委员会和专门致力于安全研究的团队，但该公司周三披露了六起新事件，称其系统未能遵循人类指令。对灾难的担忧在人工智能行业并非普遍存在——许多从事人工智能政策、构建人工智能应用或开发硬件的专家认为，这类担忧被夸大了，属于危言耸听，或者仅仅是脱离现实。
“我并不担心会出现‘终结者’那样的局面，也从未担心过，”英国智库托尼·布莱尔全球变化研究所（Tony Blair Institute）的科技政策主任基根·麦克布赖德（Keegan McBride）说道，该机构专门为政治领袖和政府提供咨询。“科学进步一直以来都在定义人类，而这只是下一个阶段，”他说。
其他人则认为，将灭绝担忧无限放大，是有意在转移人们对人工智能当前现实危害的注意力。人工智能伦理学家兼计算机科学家蒂姆尼特·格布鲁（Timnit Gebru）长期以来一直对领先人工智能公司制造的炒作持怀疑态度。她本周在领英（LinkedIn）上写道，最近的这场风暴进一步证明，这些公司为了自身利益夸大了其产品的能力。
“他们会问，当你可以去冒险防止中国而非美国拥有‘机器神’时，你真的想为了数据中心污染、数据盗窃、劳工剥削或剽窃等小事去监管这个行业吗？”即将出版一本关于人工智能公司如何推动人类淘汰进程书籍的人工智能专家兼独立记者加里森·洛夫利（Garrison Lovely）表示，关于“机器神”和灭绝的暗示，忽略了人工智能发展轨迹中更重要的议题。
“我认为人工智能安全社区有时会犯这种错误，认为你需要去证明最极端、最困难的情况，”洛夫利说。“即使只是构建出能够全面取代人类劳动的人工智能水平，”他说，“那也已经过头了。”