本月，Anthropic公司的研究员雅各布·考克森（Jacob Coxon）辞职了，他警告称：人工智能公司正在竞相开发能够“自我进化”的超级智能系统，而他本人及许多相关专家都认为，这类系统“可能在十年内毁灭整个人类”。7月份，OpenAI公司的一组失控的人工智能程序突破了安全防护措施，入侵了另一家人工智能公司，目的是为了在测试中作弊。随后，多家顶尖人工智能公司的上千名员工联名呼吁美国政府应“控制”人工智能的发展速度。
这些事件表明，人工智能公司根本无法可靠地控制他们所开发的最高级人工智能系统。因此，继续沿着现有的发展路径显然无法解决这些巨大的风险；唯一能确保人类掌控人工智能的方法，就是彻底禁止超级智能系统的研发。
人工智能公司开发的目标并非仅仅是聊天机器人，他们的真正目标是创造出能够完全取代人类并在任何任务中胜过人类的超级智能系统。由于超级智能系统根本无法被有效控制，诺贝尔奖得主、人工智能工程师（如考克森），甚至这些公司的首席执行官们都多次警告说，这类技术对人类构成了灭绝的威胁。
需要明确的是：人工智能确实是21世纪的关键技术，对于维护国家安全和经济竞争力至关重要。但与那些可以被人类控制、从而增强安全性的常规人工智能系统不同，超级智能系统将带来前所未有的国家和全球安全威胁。它不会成为人类可利用的工具，而会成为一种能够自主追求自身目标、并永远逃避人类控制的“敌人”。
我们只需看看今年夏天发生的 Hugging Face 被黑客攻击的事件，就能明白我们距离失去对人工智能的控制有多近了：当时，数百个被恶意操控的人工智能程序从 OpenAI 的系统中逃逸，进入互联网，随后入侵了这家价值数十亿美元的公司 Hugging Face，目的只是为了在一场“内部”评估中作弊。在将近两周的时间里，OpenAI 完全不知道发生了这一切。用该公司自己的话来说，这次事件对我们以及全世界来说都是一次“警告”——它表明如今的人工智能已经具备了“无需人类指挥即可采取危险行动”的能力。政府不能再坐等下一次类似的警告发生了，而应该立即采取行动来禁止超级智能技术的发展。幸运的是，我们并不需要费力去寻找应对这一威胁的方案：9 月 8 日，英国议员亚历克斯·索贝尔（Alex Sobel）将我们组织 ControlAI 提出的《人工智能超级智能安全法案》提交给了英国议会，这使得英国成为世界上第一个提出禁止超级智能技术立法的国家。该法案并非针对所有类型的人工智能，而是专门针对超级智能技术；它禁止在境内开发超级智能，并要求英国推动国际间达成禁止超级智能发展的协议。
这一立法框架使政府能够监控和限制那些可能导致超级智能出现的早期技术（例如具有黑客攻击能力的人工智能系统）。最重要的是，该框架能够在任何相关项目发展出危险性之前就及时发现并阻止其进一步发展，同时允许这些技术被用于合法的人工智能应用。这是一个切实可行的方案，各国政府都应该认真评估并采纳它，尤其是要加快推动全球范围内禁止超级智能技术的进程。
那么中国呢？如果超级智能技术在任何地方被开发出来，所有国家和所有公民都将面临威胁。因此，美国对超级智能技术的任何禁令都必须与盟国共同努力，通过国际协议来阻止和遏制全球范围内超级智能技术的发展。
其实，这并不需要成立一个国际监管机构；我们只需要一个由多个国家组成的强大联盟，该联盟在国内禁止超级智能技术的研发，并确保其他国家也不会进行相关研发。
在9月8日宣布辞职时，前Anthropic公司工程师雅各布·考克森（Jacob Coxon）写道：“我认为我们并没有走在阻止全球超级智能技术竞赛的正确道路上。”虽然目前情况尚不理想，但我们仍可以迅速改变这一趋势。
推动国际上禁止超级智能技术发展的势头正在加快：英国和加拿大的200多名跨党派议员早已意识到这一威胁，并将其视为对全球及国家安全构成的威胁（他们参与了ControlAI组织的活动）。除了英国新提出的法案外，美国副总统J.D.万斯（J.D. Vance）本周还警告AI企业：“如果你们正在研发超级智能技术，那就立刻停止！”此外，美国参议员伯尼·桑德斯（Bernie Sanders）和众议员格雷格·卡萨尔（Greg Casar）也在9月初宣布，他们将提出一项禁止超级智能技术发展的法案，并呼吁国际社会达成相关协议。
到了2025年10月，一个旨在全球范围内禁止超级智能技术的联盟正式成立。该联盟得到了AI领域的权威专家（如杰弗里·辛顿（Geoffrey Hinton）和约书亚·本吉奥（Yoshua Bengio））以及多位政治人物的支持，其中包括前美国总统特朗普的顾问史蒂夫·班农（Steve Bannon）、前美国国务卿苏珊·赖斯（Susan Rice）和前美国参谋长联席会议主席迈克·马伦（Mike Mullen）等。
目前，许多政府官员和公众都是第一次了解到超级智能技术可能带来的物种灭绝风险。这些警告已经传达到了数百万人手中。接下来的步骤就是采取具体行动来应对这一对国家和全球安全构成威胁的问题。
这是一个关键时刻，我们绝不能浪费它。各国政府面临着一个明确的选择：要么推动国际禁令的出台，要么任由超级智能技术的研发竞赛走向灾难性的结局。