人工智能失控。它正在发动毁灭性的网络攻击。按下杀死开关，AI就会离线。问题解决了或者是吗？人工智能领导者和研究人员表示，致命开关可能不是一些政策制定者所希望的灵丹妙药。被称为“人工智能教父”的计算机科学家杰弗里·辛顿周四告诉美国有线电视新闻网：“我认为从长远来看这是行不通的。”“当它超级智能时，它会比人好得多，”他补充道。“因此它将能够说服负责开关的人不要拉动开关。“研究人员和高管警告说，强大的人工智能有一天会对人类构成生存威胁。这场辩论于周三蔓延到国会山，当时参议员兰德·保罗（Rand Paul）阻止了参议员约翰·肯尼迪（John Kennedy）提出的一项法案，该法案要求先进的人工智能系统配备终止开关。保罗表示，国会在实施广泛的规则之前应该研究这项技术。在实践中，终止开关可能会禁用公司自己的托管模型或切断其对工具和计算资源的访问。但辛顿并不是唯一一个说这可能还不够的人。其他人工智能领导者表示，关闭开关可能会有所帮助，但可能会被规避、来得太晚，或者仅作为更广泛安全系统的一层工作。人工智能安全研究员、《如果有人建造了它，每个人都会死》一书的合著者内特·苏亚雷斯表示，当人工智能系统保持与物理位置绑定时，关闭开关可以工作--但一旦它逃脱、复制自己或嵌入到关键基础设施中，就不一定如此。苏亚雷斯周三在接受天空新闻采访时表示：“我们现在有一个关闭的开关。”他警告说，人类不应该接近某些不归路。在他看来，首要任务是首先防止建造危险的系统。一些人工智能高管将终止开关视为必要但有限的防线。

Anthropic的联合创始人杰克·克拉克（Jack Clark）在周一接受BBC News采访时指出，未来或许有必要要求所有人工智能公司都配备一个能够被第三方独立验证的“关闭机制”（即用于终止人工智能系统运行的装置）。他表示，大型AI实验室目前已经具备关闭这些系统的能力，但理论上，自主运行的AI系统可能会绕过这些控制措施。Anthropic的首席执行官达里奥·阿莫代（Dario Amodei）也表达了类似的观点。他在周一接受CBS采访时称，这样的“关闭机制”确实是个不错的主意，但并不能解决所有问题；因为一个功能强大的AI模型完全有可能规避关闭尝试。因此，他认为“关闭机制”只是更全面的安全策略的一部分，该策略还应包括系统测试、外部评估以及对AI应用范围的限制。

关于AI“关闭机制”的局限性，这并不是一个新鲜的话题。OpenAI的首席执行官萨姆·奥尔特曼（Sam Altman）在2024年接受《经济学人》（The Economist）采访时就曾明确反对这种“万能的安全措施”。他认为并不存在一个能够彻底停止AI运行的“神奇按钮”；AI的安全性实际上取决于多种因素，比如哪些AI模型被允许使用、它们在何时被部署，以及如何控制它们的风险。奥尔特曼强调：“这并不是一个简单的‘开启/关闭’决策，而是过程中需要做出的许多细微决策。”