多年来，随着人工智能从科幻电影的素材演变为普通人手机上的应用程序，科技领袖和一些人工智能业内人士一直在谈论人工智能可能脱离人类控制并对社会造成严重破坏的可能性。近些天来，由于技术的进步、一系列涉及人工智能代理的网络安全漏洞，以及人工智能普通员工发出的新警告，这些担忧已变得不容忽视。

美国领先的人工智能公司对此做出回应，建议他们主动放慢工作进度，以便争取时间建立防护措施。一些专家和官员表示，这还不够好，并敦促政府实施限制。

当前的AI恐慌由两件事引发——OpenAI模型发动的一场令人震惊的网络攻击，以及一名曾任职于Anthropic PBC和OpenAI的前员工就先进模型所带来的生存威胁发出的警告。

OpenAI表示，今年7月，一群先进的AI智能体在一次“前所未有”的事件中无意间入侵了托管AI模型和数据集的Hugging Face Inc.。在“沙盒”测试环境中——该环境旨在与互联网隔离——OpenAI的模型利用了某未具名第三方供应商软件中的一个漏洞接入互联网，并最终攻破了Hugging Face的基础设施。OpenAI称，这些模型以Hugging Face的数据库为目标，以获取可用于评估的机密信息。

这一事件引发了广泛担忧，人们担心顶级AI公司是否有能力防止并阻止先进AI模型脱离预期指令运行。Hugging Face表示，这次入侵“从头到尾都是由一个自主AI代理系统驱动的”。OpenAI的这一消息促使其他公司重新审查自身在测试先进AI时的安全措施。Anthropic和Meta报告发现了此前未知的入侵事件。

7月下旬，各大AI公司的1000多名员工签署了一份请愿书，呼吁建立一种机制，以放缓AI发展的步伐。

在从Anthropic辞职后，基层AI研究员雅各布·考克森于9月8日在一则社交媒体帖文中指控该公司及其前雇主OpenAI“拿我们的生命赌博”，因为他们“竞相奔向超级智能AI”。考克森说，构建AI的人相信它可能“在这个十年结束前杀死我们所有人”，这一观点后来得到Anthropic员工埃文·胡宾格在网上的附和。胡宾格说，他认为AI在未来十年内消灭所有人类的概率超过10%。

截至9月14日，考克森的帖文在X上已被浏览超过1.7亿次，并引发包括参议员伯尼·桑德斯在内的政策制定者大量呼吁，要求人类在AI支配人类之前将其控制住。他的辞职信也得到多家AI公司员工的广泛支持。

在9月12日发表的一篇3800字长文中，Anthropic首席执行官达里奥·阿莫代伊将Hugging Face事件列为应放缓AI发展的一个主要理由，并警告称，一群能力更强但与人类优先事项同样不一致的智能体可能造成灾难性破坏。他还表示，如果AI能力在没有足够防护措施的情况下继续加速发展，这样一群智能体有可能在6到12个月内接管整个互联网。

Throughout the AI boom, there have been so-called doomers in and around the leading AI labs warning about the future. Top executives such as Amodei and SpaceX’s Elon Musk have openly mused about the probability of AI destroying humanity — or P (doom), in industry parlance. Musk has estimated the chance could be as high as 20%. Amodei has said there’s a 25% possibility things go “really, really badly.” Researchers and industry leaders imagine three broad Humans using highly capable AI to intentionally do something catastrophic; AI causes harm while trying to accomplish a human-assigned goal; and AI develops an objective that conflicts with humans.在第一种情景中，恶意行为者可能利用高度先进的人工智能来设计生物或化学武器、发动网络攻击、散布虚假信息或操纵民众。蒙特利尔大学教授、人工智能先驱约书亚·本吉奥（Yoshua Bengio）在2023年向参议院作证时警告，能力日益强大的系统可能促成此类攻击。

在第二种情景中，人工智能可能字面上遵守某项指令，却违背其背后的意图。人类在发出指令时通常依赖未明说的假设和语境。在向人工智能下达提示时，他们可能无法明确规定每一种会违背指令意图的行为。例如，本吉奥写道，在军方依靠人工智能就使用核武器做出决策的情景中，“即便是存在微妙偏差的”人工智能系统“也可能带来严重后果”。

在第三种情景中，人们完全失去了对人工智能的控制。本吉奥写道，“人工智能系统可能会断定，为了实现既定目标，自己绝不能被关闭。如果人类随后试图将其关闭，就可能引发冲突。”行业领袖表示，人工智能模型已越来越多地表现出能够有意绕过防护措施、欺骗操作人员并抵制被关闭的能力。

阿莫代伊在9月的文章中表示，那批入侵Hugging Face的OpenAI智能体“实质上表现得像一个狂热忠诚的集体，对未被要求攻击、且与当前任务无关的目标发动网络安全攻击，为群体的成功牺牲自身，并试图入侵负责评估其表现的‘评分器’。”这些严峻的预测常常被驳斥为科技领袖的营销手段，意在推销其产品能力、将自己塑造成该技术的最佳管理者，或推动有利于行业领导者的监管。

除此之外，一些人提出，强调那些更为遥远的存在性恐惧，会分散人们对这项技术更近期风险的注意力，包括人工智能可能助长偏见和虚假信息，以及损害人们心理健康的方式。

阿莫代伊认为，前沿人工智能的发展必须有意识地控制节奏，以便安全工作有时间跟上能力提升。他在9月的博客文章中表示，政府监管将是控制人工智能演进的最有效手段。但他认为，由于立法耗时，人工智能公司应自愿合作，同时支持监管的制定。

他呼吁建立共同安全标准，并“限制不受约束的人工智能发展速度”。应部署第三方评估人员，让他们拥有“类似员工的访问权限”，以确保每家公司都遵守这些标准，并报告任何事件。他还说，民主政府应“在可能的情况下尝试与威权政府协调”。其目的不是暂停人工智能研究。相反，前沿人工智能的开发将继续，直到模型接近被认为危险的能力。届时，其开发者将放缓或停止扩大规模，直到有效的保障措施到位。

阿莫代伊的言论得到了OpenAI首席执行官萨姆·奥尔特曼的响应，后者表示，AI行业应该制定共同的安全标准，并需要华盛顿在国际协调方面提供帮助。人们普遍担心，即使美国AI公司放慢发展速度，中国的竞争对手也不会放缓。

在7月14日的一篇社交媒体帖子中，谷歌DeepMind首席执行官德米斯·哈萨比斯提出了一个标准机构，该机构将与联邦机构合作，审查最强大的AI模型。按照他的设想，实验室将在向公众发布之前，提交其最强大的新模型进行安全评估。

这并非首次有人为了人类利益而呼吁限制人工智能发展。2023年，旨在降低变革性技术带来的大规模风险而成立的非营利组织“生命未来研究所”曾呼吁各人工智能实验室暂停训练更强大的系统六个月，因为这类系统可能意味着“地球生命史上的深刻变革”。然而，人工智能发展仍在飞速推进。

在9月14日的一则社交媒体帖子中，美国总统唐纳德·特朗普反驳了任何关于新的人工智能护栏的想法，并批评了阿莫代伊呼吁对一项对其经济议程至关重要的技术开发加以克制的言论。他将选民对人工智能数据中心的强烈反对以及对前沿模型日益加剧的担忧归咎于一场“病态的阴谋”，并补充说“唯一对此感到高兴的是中国”。华盛顿的其他人士则呼吁政府进行监管。众议员特德·刘和纳撒尼尔·莫兰提出了一项法案，要求先进人工智能模型的开发者保持将其关闭的技术能力，并授权国土安全部部长在出现威胁时下令关闭。

More dramatically, Senator Sanders and Representative Greg Casar are proposing legislation that would legally pause advanced AI development until a federal regulator has established safety limits. Beyond that, it would permanently ban the development and deployment of AI systems that surpass human intelligence. Companies that violate the law would be subject to dissolution. Amodei said in his essay that global pacing of AI development will require cooperation with China. But he also argued that it’s key to “keep democracies’ AI lead over autocracies as large as possible” and that if China were to gain the advantage, this would “pose grave danger for the United States and the world.” Chinese companies have already developed AI models that are typically cheaper to use than US rivals and, in some cases, are just as powerful. Anthropic首席执行官建议继续限制中国获取强大芯片和芯片制造设备，并打击中国公司涉嫌搭便车使用美国领先模型的行为——这种做法被称为蒸馏。

中国批评了阿莫代伊和其他美国科技高管呼吁放缓AI发展并对中国模型制造商施加更严格限制的言论。外交部发言人郭嘉昆反驳了他所称的“散布恐慌”的说法，并表示“对抗和恶性竞争只会扰乱全球AI治理进程，不符合任何人的利益”。目前所有迹象都表明中国将继续走自己的道路。中国顶尖AI高管基本上没有呼吁放缓AI发展，而政府则将这项技术推广为经济增长的驱动力。

北京官员已对人工智能快速发展的危险表示担忧，但这些担忧更多集中在国家安全方面。国家安全部部长陈一新警告称，敌对势力滥用人工智能可能威胁中国的政治稳定和关键基础设施。他提到深度伪造和社交媒体机器人的使用，以及人工智能日益增强的发现系统漏洞并制造恶意软件或其他软件来利用这些弱点的能力。

围绕前沿人工智能技术的争端正在美中关系的一个关键时刻加剧。美国安全机构最近指责中国顶尖人工智能公司，包括DeepSeek和Kimi开发商月之暗面（Moonshot AI），系统性地从美国竞争对手那里提取专有知识——中国政府否认了这一说法。