我们已经到达了人工智能的风险临界点。数百万人终于明白，专家们所知道的人工智能公司一直在用我们所有人的生命赌博，而且胜算不大。

作为回应，Anthropic首席执行官Dario Amodei提出了一项由Sam Altman和Elon Musk支持的“开拓前沿”的提议。我们能松一口气吗？我们即将从灭绝的边缘退回来吗？

阿莫迪预计经济放缓一到两年，从而在技术安全措施方面取得“重大进展”。但这不是人类现在需要的。我们需要的是一个计划，让我们相信人工智能不会杀死我们，但事实并非如此。

严峻的现实是，我们不知道这些人工智能系统如何工作。我们不知道如何防止他们行为不端。一旦他们比我们聪明，我们就不知道如何保持控制。我们不知道如何确保他们不会表现得很好，装蒜来欺骗我们的安全测试。我们不能指望再研究一两年就能解决这些问题。

我之所以知道，是因为我已经研究这类问题十多年了，包括在剑桥大学和蒙特利尔大学担任人工智能教授。如果我们想将人工智能的风险降低到可接受的水平，我们实际上需要的是立即、无限期地在国际上暂停前沿人工智能的开发。

这真的可能吗？这是一个合理的问题，地缘政治是美国和中国等国家如何核实彼此的遵守情况？唐纳德·特朗普最近猛烈抨击人工智能监管，理由是美国在与北京的人工智能军备竞赛中处于领先地位。

但一个简单的解决方案是停用构建这些人工智能模型所需的高级计算机芯片。大规模——且已引发广泛不满的——数据中心建设可以被逆转。美国和中国可以轮流停用数据中心及其内部的芯片。如果所有各方都清楚没有任何一方有能力构建更强大的人工智能，那么验证过程将非常简单。

为了使这种安排具有持久性，我们还可以拆除生产先进人工智能芯片的供应链。该供应链高度集中，并依赖于极紫外（EUV）和深紫外（DUV）光刻技术中最为尖端的部分。任何试图在前沿人工智能开发所需规模上秘密运营光刻设施的行为，几乎肯定会被其他国家的 intelligence 机构察觉。

与依赖限制计算机芯片使用方式的替代方案相比，这一计划具有优势。阿莫迪（Amodei）称暂停“不太可能”，但就停用人工智能基础设施达成的协议，实际上比阿莫迪提出的全球协调方案更容易验证。后者随着计算硬件的持续进步和普及，将需要不断提高的监控水平。

这一计划的经济成本将是巨大的，但鉴于其利害关系，除非我们有一个能真正拯救生命的更优方案，否则这些代价显然是值得的。在新冠疫情期间，各国政府关闭了社会和经济的重要部分以挽救生命。我们应当愿意付出更大的努力，以防止我们物种的灭绝。我正在积极研究该提案的“温和”版本，即创建可用于运行人工智能模型、但无法用于构建更强大模型的计算机芯片。其他研究人员也提出了无限期暂停的提案。

遗憾的是，阿莫代伊的文章并未考虑这些暂停提议。他的计划归根结底仍然是让AI在更少人类参与的情况下建造越来越聪明的AI——“递归式自我改进”，一个旨在使人类变得多余的项目。

那么，我们究竟应该期待阿莫代伊的计划带来什么？第一步将是“嵌入”来自METR等组织的外部评估者，该组织曾被邀请调查OpenAI-Hugging Face丑闻。大型科技公司CEO或许会称这“激进”，但我们要清楚，他们实际上谈论的是更多的自我监管。

三年前，我参与创立了英国人工智能安全研究所——另一个领先的评估机构。在清楚看到该生态把举证责任公式搞反之后，我辞职了。如今，AI在事实上仍然是“在被证明危险之前都安全”。

阿莫代伊建议的安全标准，注定会远远达不到航空等其它安全关键行业的标准。我们根本不知道如何安全