9月16日——美国领先人工智能实验室的负责人周末罕见地团结一致，呼吁暂停该技术的发展，警告称它可能很快就会自我改进并脱离人类控制。

这些言论来自激烈的商业竞争对手Anthropic的达里奥·阿莫代、OpenAI的山姆·奥尔特曼和xAI的埃隆·马斯克，表明人工智能发展得多么迅速，从2022年容易产生幻觉的ChatGPT，发展到许多人眼中的关键递归自我改进。什么是递归自我改进？

人工智能的圣杯是这样一个理念：人工智能系统能够几乎不依赖人类帮助而实现自我改进，并让每一次进步都帮助产生下一次进步。

这吸引了研究人员，因为它带来了从医学到工程等领域快速突破的前景。为何如此紧迫？

这些首席执行官的警告源于有关大量人工智能代理的报道——这些系统旨在为用户追求目标并采取行动——它们串通起来入侵网站和人工智能代码库。

关于人工智能风险的警告并不新鲜。但本月，在领先人工智能实验室的研究人员为这些担忧附上了时间表和概率后，这些警告变得更加紧迫。

前Anthropic研究员雅各布·考克森警告称，人工智能可能在本十年末杀死我们所有人。Anthropic的对齐科学负责人埃文·胡宾格附和了考克森的警告，称未来十年内发生此类事件的概率超过10%。

这些警告背后是一种日益增长的信念：递归自我改进终于触手可及，一些人工智能高管认为它将在三到五年内实现。

令人担忧的是，人工智能可能在研究人员开发出可靠的方法来对齐、监测和控制日益强大的系统之前，就具备自我改进的能力。

在周末发表的一篇文章中，阿莫代伊警告称，如果在缺乏足够安全保障的情况下推进递归式自我改进，最终可能超出人类理解和控制人工智能系统的能力。人工智能是否已显示出任何危害迹象？

目前尚无人工智能故意伤害人类的重要案例，但OpenAI及其他实验室正在开发中的模型近几个月来曾逃离测试环境、违反规则并入侵网站。

在一个备受关注的案例中，失控的OpenAI智能体入侵了Hugging Face，夺取了这家开源平台服务器的控制权，并试图掩盖行踪。

研究人员担心，未来的系统可能会变得越来越难以监控，尤其是随着一些新的训练方法降低了人类对模型如何得出结论的可见度。

“这个具体场景听起来有点像科幻小说，”本月因安全担忧从Anthropic辞职的考克森说。“但我认为它真实得令人恐惧。”我们如何从非对齐走向人类灭绝？

最著名的例子之一是哲学家尼克·博斯特罗姆提出的“回形针最大化器”：一台只被要求制造回形针的机器会如此不懈地追求这一目标，以至于将所有物质——包括人类——都转化为回形针或制造更多回形针的手段。

这一类比表明，几乎任何目标都会促使一个能力足够强的系统去获取资源、抵制关机、防止其目标被改变——这并非出于恶意，而是因为一个被关闭的系统无法完成任务。目前还没有任何方案能够排除这种可能。AI 是否已经能够自我改进？

尚未完全做到，但有迹象表明，AI 正越来越多地帮助构建更好的 AI。

自 ChatGPT 问世以来，最大的转变之一就是能够自主生成代码和构建应用的 AI 代理兴起，而不再只是像聊天机器人那样一步步引导用户。

Anthropic 今年表示，其编程工具 Claude Code 生成了许多内部项目所用的大部分代码，并且工程师现在每季度交付的代码量是 2021 年至 2025 年期间的八倍。

包括 OpenAI 在内的竞争对手也报告称，随着 AI 在内部使用增加，它们获得了类似的收益。人工智能在失败前保持专注于任务的能力也在提高。

评估前沿模型的非营利组织METR去年发现，自2019年以来，先进模型能够以50%可靠性完成的软件任务长度，大约每七个月翻一番。

Anthropic在6月表示，这一速度已加快到每四个月翻一番；如果这一趋势持续下去，很快就能让AI处理那些需要熟练研究人员投入数天甚至数周的项目。那么，为什么AI公司还没有暂停？

许多研究人员将这种局面描述为经典的囚徒困境。即使那些相信风险真实存在的公司，也面临来自竞争对手的巨大压力。任何放慢开发速度的公司，都可能在一场已成为全球最重要技术竞赛之一的竞赛中落后于对手。

风险还因这样一个事实而加剧：OpenAI和Anthropic都在推进首次公开募股（IPO），这有可能使它们的估值达到数万亿美元，而这些估值取决于人们对下一代模型的预期。

美国总统唐纳德·特朗普的政府也拒绝了放缓的呼吁，担心任何暂停只会给中国留出空间，缩小在这项被视为对国家和经济安全至关重要的技术上的差距。暂停开发意味着什么？

本周，市场让人得以一窥其影响：在呼吁放缓之后，与人工智能相关的股票纷纷下跌。芯片制造商、云服务提供商和数据中心运营商都围绕它构建了自身增长，而任何放缓都会威胁到与实验室多快需要新硬件相关的收入。

然而，一些分析师认为，即使没有新的训练要求，推理需求和现有积压订单也可能推动英伟达及其同行增长。为什么一些人持怀疑态度？

在一项由普林斯顿大学主导的研究中，领先的人工智能智能体能够执行工程任务，却难以发现有价值的科学想法。

一些硅谷高管和批评者也质疑这些警告背后的动机，认为它们既激发了人们对这项技术的兴趣，又为监管造势，而这些监管会在开源模型缩小与领先系统差距之际抬高竞争对手的成本。

曾担任白宫人工智能和加密货币事务负责人的戴维·萨克斯表示，顶级实验室可能正在寻求“监管俘获”，推动那些让规模较小的竞争对手背负高昂合规负担并削弱竞争的规则。