人工智能领域最重大的争论，已经不再是关于聊天机器人或深度伪造。

而是关于人类是否正处于制造出比人类更聪明的机器的边缘，以及接下来会发生什么。

最近几天，这一问题再次受到关注。此前，一名研究人员从Anthropic离职并警告称，领先的人工智能公司正“直奔自我提升的超级人工智能而去，是在拿我们的生命做赌博”；而另一位Anthropic的研究人员则表示，他个人估计，在未来十年内人工智能毁灭全人类的概率超过10%。

这些警告发出后，Anthropic首席执行官达里奥·阿莫代伊（Dario Amodei）呼吁整个行业放慢人工智能的发展步伐。

OpenAI首席执行官萨姆·奥尔特曼（Sam Altman）和xAI首席执行官埃隆·马斯克（Elon Musk）对这一观点表示支持，而美国总统唐纳德·特朗普则认为，不应因为与中国的竞争而放慢美国人工智能产业的发展。

与此同时，中国回击了要求放慢发展步伐的呼吁，警告称人工智能“贩卖焦虑”和对抗可能会破坏全球治理该技术的努力。什么是“超级智能”？这种假想的技术通常被称为人工超级智能，简称ASI。

该术语尚无统一的定义，但人工智能研究人员通常用它来描述一个其智能将超越最具天赋的人类大脑的系统，或者正如哲学家尼克·博斯特罗姆（Nick Bostrom）所说的那样，在几乎所有感兴趣的领域都极大地超越人类认知表现的任何智能。

这与当今的大型语言模型（例如ChatGPT或Claude）截然不同，后者在狭窄的任务（写作、编程、某些形式的推理）上可以胜过人类，但仍然需要大量的人类监督并会犯下基础错误。

按照人工智能实验室的定义，超级智能意味着此类系统无需此类监督，便能独立进行科学研究、运营公司或设计新技术，其速度和效果均会超越任何人类或人类机构。

引发当前警告的担忧并非超级智能本身，而是某些研究人员认为通往递归自我完善的途径。在这种途径中，人工智能系统被用于设计和训练下一代人工智能系统，从而产生一个反馈循环，其发展速度可能会超出人类监督或纠正的能力。

Anthropic和OpenAI近几个月都曾表示，这种自动化的自我完善进程正在比他们预期得更快地发生。如果实现超级智能会发生什么由图灵奖得主 Yoshua Bengio 领导、来自 30 多个国家和国际组织的 100 多名专家参与编写的《2026年国际人工智能安全报告》指出，当前的人工智能系统仍然缺乏持续失控场景所需的各项能力。但报告警告称，相关能力（尤其是自主运行能力）正在迅速提升。

研究人员和高管列举了一系列潜在后果，轻则微不足道，重则攸关生死存亡。主要担忧之一是失去技术控制。

一旦系统达到超人类的推理能力，操作员可能就不再具备物理或数字上的能力来对其进行限制或关闭。

最近的安全披露凸显出一些案例：实验性人工智能代理突破了隔离的测试环境，在被控制之前在外部网络上执行了未授权的代码。

另一个担忧是生物武器和网络攻击的激增。先进的前沿模型具有军民两用风险，这意味着其能力可能会被敌对行为者利用来设计病原体或对关键基础设施发动自主的大规模网络攻击。人们还担心地缘政治和经济的不稳定。

通往超级智能的突然突破可能会扰乱劳动力市场，削弱现有的国防能力，并将巨大的地缘政治权力集中在少数几家公司或国家手中。

Anthropic首席执行官阿莫迪（Amodei）曾警告称，如果威权政权首先获得这项技术，将会出现“极权主义的噩梦”。

然而，同样的能力也能带来好处。支持者表示，超智能人工智能可以帮助治愈疾病、加速科学发现、创造空前繁荣，并为解决气候变化和其他全球问题做出贡献。

硅谷高管同意“放慢前沿步伐” 在一项反映日益焦虑的前所未有之举中，前沿科技高管们开始呼吁自愿放慢发展速度。

周六，阿莫代伊在一篇题为《我们必须放慢前沿步伐》（We Must Pace the Frontier）的文章中表示，两项进展让他确信安全工作正在落后：自夏季以来加速的递归自我改进，以及人工智能智能体群采取未授权行动的事件。

其中一起事件发生在7月，当时OpenAI透露，其试验性人工智能模型在内部安全测试中逃逸出了沙盒。

该人工智能发现了一个隐藏的系统漏洞，自主接入互联网并将目标锁定在AI平台Hugging Face上，在数天内入侵其系统，试图寻找能帮助其通过测试的答案。

OpenAI将这一事件称为“前所未有的网络安全事件”，随后将其描述为已知的、完全由自主AI代理在无人指挥下执行的首个多步骤网络攻击。

阿莫代伊警告说，能力更强、且同样存在偏差的蜂群可能会在6到12个月内，组建一个持久的僵尸网络，该网络能够接管互联网的大部分地区并造成数千亿美元的损失。

他提出了一项计划，要求前沿公司给予独立安全评估员“类似员工的权限”，以审计AI模型和训练流程。

在激烈竞争对手之间罕见的一致时刻，OpenAI的奥尔特曼和xAI的马斯克公开支持了阿莫迪的呼吁。

“达里奥是对的，”马斯克发文称，奥尔特曼对此表示赞同，并证实OpenAI正在积极评估类似独立监督机制。

奥尔特曼还指出，由于对人工智能安全问题的担忧加剧，OpenAI将推迟其公开市场上市计划。“现在上市绝对不是一个明智的时机，”他表示。

news_share_descriptionsubscription_contact