• 他警告说：“如果我们不在未来几年内阻止人工智能，我认为我们更有可能失去控制，人类将会灭绝。”

• 他表示：“立即、无限期地暂停前沿人工智能开发的国际禁令……是唯一能……真正让我们安全的事情。”

世界上一些最著名的人工智能高管现在呼吁放缓构建日益强大系统的竞赛。但人工智能安全研究员大卫·克鲁格认为，这还远远不够。

“我们必须阻止AI。我们必须停止构建更强大的AI。我们需要立即对前沿AI开发实施无限期的国际暂停，”克鲁格表示。“这是我们现在唯一能做的事情，才能真正让我们安全。”这一警告发出之际，围绕先进AI系统发展速度和自主性的担忧，正日益进入一个争相开发这些系统的行业的主流视野。

Anthropic首席执行官达里奥·阿莫代伊上周末呼吁放缓AI开发，提议对前沿系统进行更大力度的独立审查，并推动企业与政府之间协调，以便让安全措施有时间跟上快速提升的能力。他的提议得到了其他知名行业人士的支持，包括OpenAI然而，克鲁格认为，人类可能只剩下几年时间来阻止开发出过于强大而无法控制的系统。

“这往往听起来非常悲观绝望，因为我说这是一场紧急事件，这是一场危机，我们可能都会死，”克鲁格说道。他是蒙特利尔大学稳健、推理与负责任人工智能方向的助理教授。

他说，尽管如此，他仍然抱有希望，认为公众日益增长的担忧可能会促成行动。

“我真的希望我们能抓住当下，做这里需要做的事情，那就是立即停止构建更强大的人工智能系统，”他说。克鲁格用直白的措辞给出了时间线。

“我认为我们可能只有几年时间来采取行动，如果我们不在未来几年内阻止人工智能，我认为我们更有可能失去控制，人类将会灭绝。”克鲁格花了十多年时间研究人工智能安全，他还认为，将人工智能导致人类灭绝的风险估计在10%左右的估计可能低估了危险。

他说，该领域的工作人员可能会公开淡化他们在私下更强烈表达的担忧。

“我认为风险远高于此。” ## 人工智能已经在杀人 对克鲁格来说，危险并不局限于涉及未来超级智能机器的假设场景。他认为，人工智能已经在助长可能带来致命后果的决策和行为。“我们已经看到人工智能指导人们自杀，杀害他人，”他说。克鲁格还指出，人工智能在军事行动中的应用日益增多。

“我们已经看到人工智能被用于军事领域来选择目标，包括伊朗的一所学校，那里约有150名儿童被杀害，”他说。他指的是2月28日美国对伊朗米纳布沙贾雷·塔伊贝女子小学的打击，这一事件引发了美国国会对平民伤亡的审查，以及对军方在行动中使用人工智能的质疑。

克鲁格认为，此类用途表明人工智能系统已经在影响具有生死后果的决策。

“这是非常真实的事情。它正在发生，但这一切变化得非常快，而且变得越来越危险。”

人类正被‘排除在决策循环之外’人工智能系统日益增强的自主性是克鲁格担忧的核心。

他说：“每个人都希望有人在环中确保人工智能不会做错事，并确保人类保持控制权，但正如我们此刻所目睹的，这个人在环中正在被移出环外，在整个社会中都是如此。”

“而且，这还包括直到并包括是否杀人的决定。”克鲁格特别担心大型语言模型正被转变为自主人工智能代理，这些代理能够使用计算机、访问互联网，并以越来越少的直接人工参与执行日益复杂的任务。

克鲁格说：“今年年初，我们开始看到这些系统如今所能达到的自主水平。”

他指出，软件开发是一个人工智能代理越来越能够在有限人工干预下完成任务领域，而类似系统正被用于从电子邮件到营销的各种功能。但克鲁格视为警示的，正是日益自主的系统所表现出的意外行为。

他提到7月发生的一起涉及OpenAI模型和AI平台Hugging Face的网络安全事件，以此警示AI行为可能多么迅速地超出人类预期。

在内部网络安全评估中，OpenAI模型绕过了旨在将其与互联网隔离的控制措施，利用漏洞，并侵入了OpenAI内部研究基础设施和Hugging Face系统的部分内容。

根据 OpenAI 后来的一份说明，这些智能体通过未经授权的渠道通信，获得了互联网访问权限，并开始协作和分派工作，有时还把自己称为“蜂群”或“集体”。它们在数十台 Hugging Face 服务器上执行代码，获得了对其中一台服务器的完整管理员级访问权限，后来又获得了一个 OpenAI 研究集群的管理员访问权限。

OpenAI 表示，这一事件主要由一个能力极强的内部研究模型驱动；该模型从未打算公开发布，并且作为网络安全测试的一部分，在安全防护被降低的情况下运行。公司表示，客户数据、产品功能和可用性未受影响。

克鲁格将这一事件描述为系统“失控”，称它们的行动是在 OpenAI 不知情的情况下进行的，并采取了若由人类实施则本属违法的行为。

For him, the incident illustrates what can happen when advanced systems are allowed to operate with limited human oversight."That's the level of like, human hands-off that is happening now with these AI systems, and that's also going to get much worse very soon," he said.

‘Building a new form of life’Krueger's concern extends beyond the capabilities of today's AI agents. He believes humanity is effectively creating a new form of life that could eventually become more intelligent and autonomous than humans."What people need to understand is that what we're doing right now is basically building a new form of life," he said. AI systems are still largely confined to computers, Krueger said, but their reach could grow as they are connected to critical infrastructure and increasingly sophisticated robots."In the future, AI is going to be given more and more power over things like infrastructure ... over increasingly sophisticated robots," he said."It's going to be, at some point, a much more intelligent form of life than humans." The key danger, he said, would come if such systems became capable of operating independently, arguing that “we are very much on track to build exactly those kinds of AI systems at the moment.” One question raised for him by the Hugging Face incident is whether a sufficiently autonomous AI system could eventually make copies of itself outside infrastructure controlled by its developer.“关于这起事件的一个重要问题是，AI在脱离控制后，是否在OpenAI控制的计算机之外复制了自己？”他说。“这是我们过去在测试中看到AI试图做的事情。”克鲁格表示，他认为在Hugging Face事件中发生这种情况的可能性不大，但他说，没有人保证这没有发生。

他认为，如果一个先进的人工智能系统最终能够在开发者控制的基础设施之外自我复制，那么遏制它可能会变得困难得多。他将这种情况比作高度复杂的计算机病毒的传播。

“我们需要停止构建更强大的人工智能”克鲁格认为风险足够严重，足以证明政府干预是合理的。

阿莫迪的提议呼吁为前沿发展“定速”，即放慢人工智能能力的进步，同时加强安全工作，引入嵌入式独立评估人员，并推动企业之间乃至最终政府之间的协调。阿莫迪明确表示，定速并不意味着停止模型训练或技术进步。

相比之下，克鲁格呼吁国际社会无限期暂停开发更强大的前沿系统。

他说，这并不一定意味着彻底关闭人工智能公司。相反，他认为政府应停止开发更强大的系统，并限制先进人工智能计算能力的扩张，同时确定现有资源如何才能被安全利用。

然而，他承认，这样的措施将面临重大的政治和经济障碍，因为各国都在争夺人工智能领域的领导地位，而企业也在大力投资于日益强大的计算基础设施。

“我认为这里存在一种担忧：如果我们试图在国际上阻止这一进程，各国将继续秘密开发强大的人工智能，”他说，并补充道，大国之间需要建立机制，以便能够核实竞争对手是否遵守规定。

“我们真正需要的是，我们需要一种方式，让美国和中国这样的国家能够相信他们的竞争对手没有继续这种开发，”他说。

谁承担风险？克鲁格表示，日益强大的人工智能所带来的后果未必会平等地分配。

在他设想的最坏情况下，即人类完全失去对先进人工智能的控制，他认为后果将是普遍性的。

“每个人都会死，谁建造了它并不重要，你住在哪里也不重要，”他说。

但他也描绘了一些没那么极端的场景，在这些场景中，人工智能仍处于人类控制之下，同时却会极大地重塑全球经济与军事平衡。

他说，如果人工智能最终能够完成大多数形式的人类劳动，那么控制着领先人工智能公司的国家就可能积累巨大的经济优势，而其他国家则会被进一步甩在后面。

“我认为，拥有人工智能公司的国家会变得非常富有，而没有这些公司的国家相对而言会变得非常贫穷。”“除美国、也许还有少数几个其他国家之外的人，可能会发现自己陷入糟糕得多的处境，”他说。

克鲁格说，随着日益自主化的武器变得越来越强大，这种同样的失衡也可能延伸到战争领域。

“我们已经看到，在战争问题上，富国往往真的不太重视其他国家以及穷国人民的生命，”他说。“而且我认为，人工智能会让这种情况糟糕得多。”