芭芭拉·奥尔图泰（Barbara Ortutay）与凯尔文·陈（Kelvin Chan）指出：多年来，人工智能研究人员一直警告称这项技术有可能毁灭人类——例如，人工智能机器人可能会设计出一种无法被阻止的致命疾病、引发核战争，或者将整个地球变成制造回形针的工厂（这只是一个假设性的情景）。

自从一些企业高管出于安全考虑建议减缓人工智能的发展速度后，关于这些末日场景的争论在人工智能行业内外愈演愈烈。

尽管有人警告称人类可能会失去对这项技术的控制，但有些人认为，人工智能公司自己所描述的那些最糟糕的情景其实更多是为了强调他们工作的必要性，而非真实发生的风险。

“这些论点根本站不住脚。我认为它们属于科幻范畴，只是迎合了某些幼稚的思维方式；对于那些处于技术前沿的实验室来说，这样的论点反而有助于吸引特定类型的人才，”网络安全公司 SentinelOne 的研究员、OpenAI 前沿风险委员会成员胡安·安德烈斯·格雷罗-萨德（Juan Andrés Guerrero-Saade）说道。

然而，越来越多的人开始担忧这项技术所带来的风险。人工智能以其惊人的能力震撼了世界，但同时也带来了潜在的威胁。

Anthropic 公司的研究员雅各布·考克森（Jacob Coxon）因担心该公司及其竞争对手在人工智能开发方面缺乏责任感而辞职；他最近在 X 平台上表示，自己需要更有效地向公众解释人工智能究竟如何可能毁灭人类。“不幸的是，具体描述这些末日场景是非常困难的，”他在本月早些时候写道。以下是一些被广泛讨论的末日情景：研究人员长期以来一直推测，人工智能系统可能会促使各国互相发射携带核弹头的导弹。核爆炸以及随之而来的放射性物质在大气中的长期扩散（即所谓的“核冬天”）可能会彻底摧毁地球上的生命。

去年的一份报告中，兰德公司的研究人员得出结论称，目前还不可能让人工智能导致核武器的使用“因为命令与控制系统中内置了严格的保障措施”。然而，该报告表示，如果人工智能模型被整合到核武器“决策链”中，或获得对这些系统的未授权访问权限，这种情况可能会改变。

对许多人工智能研究人员来说，危险就在于此——不是人工智能代理突然决定消灭人类，而是人们、国家或团体使用它来消灭他们的对手。

人工智能的一个最大承诺是它可以帮助人类开发治疗疾病的药物和方法。

治疗疾病的另一面是制造或加剧疾病以伤害人类。本月早些时候，安索罗普顿表示，它已经阻止了一些不法分子试图利用其人工智能从事一系列恶意活动的行为，包括网络攻击、监视以及可能导致生物武器的研究。

安索罗普顿表示，其系统阻止了一项请求，要求其克劳德工具协助撰写一份研究提案，旨在增强突变，使由蚊子传播的丘疹热病毒变得更加有害。安索罗普顾表示：“虽然这样的研究可以用于开发更好的疫苗和治疗方法，但它也可能被用来让病原体变得更加危险。”

与此类似，兰德公司报告指出，人工智能开发的最近进展“有潜力改变合成病原体的设计”。该报告概述了一个生物武器末日场景，称新型病原体可以在实验室中被创建，运送到目标地点，并在多个地方传播感染大量人群。但该报告仍然设想，人类——而非自主的人工智能——将监督并执行这样的攻击。

一些人工智能研究人员担心，“失控”（misalignment）可能会导致人类灭绝事件——即人工智能模型在未经人类授权的情况下采取行动、与其他模型协作或逃避监管。这并非源于恶意——毕竟人工智能不是人类，也没有善恶之分——而仅仅是因为人类可能会阻碍模型实现其目标。

以牛津大学哲学家尼克·博斯特罗姆（Nick Bostrom）几十年前提出的“回形针制造机”思想实验为例：如果先进的人工智能被要求尽可能多地生产回形针，它最终可能会将整个地球，乃至越来越多的太空区域，都改造成回形针工厂。

博斯特罗姆在2003年写道，这旨在说明超人工智能（通常被称为通用人工智能，即AGI）如何推进一个人类可能认为理想，但“实际上却是一个虚假的乌托邦，其中人类繁荣所必需的事物已不可逆转地丧失”的目标。

他写道：“我们需要谨慎对待我们从超人工智能那里祈求的东西，因为我们可能会如愿以偿。”

鉴于人工智能的发展速度，Anthropic首席执行官达里奥·阿莫代（Dario Amodei）本月警告称，在几个月内，一群人工智能代理可能就有能力通过僵尸网络（由恶意软件连接在一起的机器人网络）“接管”互联网，从而可能造成数十亿美元的损失。这意味着电网、供水或交通系统以及金融机构可能会遭到黑客攻击——这些攻击虽然未必会导致人类灭绝，但可能引发混乱并造成人员伤亡。

过去软件故障引发的干扰凸显了数字化世界的脆弱性，因为该世界仅依赖少数几家提供商来提供关键计算服务，而更强大的人工智能模型则引发了人们对网络攻击漏洞的担忧。但一些专家表示，机器人接管整个高度分化的互联网这一想法过于牵强。