关于人工智能对人类构成的生存风险，戏剧性的警告并不新鲜。早在20世纪40年代，著名科学家兼科幻作家艾萨克·阿西莫夫就探讨了智能机器可能带来的风险和意外后果。

1991年，好莱坞大片《终结者2》设想了一个反乌托邦式的2029年，在其中，一个名为“天网”的失控军用人工智能指挥杀手机器人向人类开战。

如果人工智能界几位最知名人物的警告可信，类似情景可能成为现实——甚至早在2029年之前。要求严格监管的呼声日益高涨。“构建人工智能的人真心相信，它考克森还透露，他已从美国人工智能公司Anthropic辞职，以此抗议他所认为的人工智能公司之间不负责任的竞赛——竞相开发更优秀、能自我改进的超级智能。

他警告说，算法可能开始独立分析和改进自己的源代码，这可能会将开发周期从几个月缩短到几分钟，从而使其变得无法控制。

考克森并非孤例。诺贝尔奖得主、物理学家杰弗里·辛顿常被称为“人工智能教父”，多年来一直就人工超级智能的严重后果发出警告。

2023年，他辞去谷歌的工作，公开警告自己曾参与开创的人工智能技术所蕴含的危险。人工神经网络和深度学习的先驱约书亚·本吉奥也对当前的发展表示担忧，并呼吁政府实施严格监管。

就在2026年7月，超过1000名顶尖人工智能公司的员工在一封公开信中警告，如果“超级智能”的竞赛不受到更严格的监管，失控将迫在眉睫。陷入无监管的竞赛？

尽管警告日益增多，美国总统唐纳德·特朗普的政府已明确将其人工智能政策转向尽量减少监管障碍、加速人工智能发展。

在他的X帖子中，雅各布·考克森间接批评了这一后果：“在OpenAI，许多人并未深刻内化文明层面的利害关系。而在Anthropic，利害关系被充分理解，但他们却陷入了一场争先抵达的竞赛——他们相信没有其他人会负责任地行事，因此尽管存在风险，他们必须自己来做。”考克森于2026年初从OpenAI跳槽至Anthropic，对两家公司的文化都颇为熟悉。

在接受采访时，他表示，在“最激进的情景”下，事态最早可能在2027年底失控。美国的人工智能 谁来买单？

要观看此视频，请考虑升级到支持HTML5视频的网页浏览器。Anthropic首席执行官达里奥·阿莫代伊目前则呼吁全行业协调一致地放缓开发速度，以争取时间应对风险，防止人工智能被滥用。

在周末分享于X上的一篇长文中，他写道，在六到十二个月内，AI代理“可能有能力接管整个互联网”，如果没有适当的防护措施，还可能造成“数千亿美元的损失”。

运营xAI的埃隆·马斯克和OpenAI首席执行官萨姆·奥尔特曼都表示，他们同意阿莫代伊的观点。

对齐问题近年来，众多专家对AI的快速进步表示担忧，尤其是通用人工智能的发展。通用人工智能指的是不仅能解决单个任务，还能在几乎所有领域达到或超越人类智力水平的系统。

例如，复杂的人工智能模型可能会以偏离人类意图的方式追求目标，人工智能安全研究人员将此称为“对齐问题”。除此之外，即使是开发人员也未必总能完全理解人工智能是如何做出某些决策的。

因此，考克森的前同事埃文·胡宾格站出来为这位人工智能研究员辩护，也就不足为奇了。

“雅各布说得没错——我们确实真心相信人工智能可能杀死全人类！我个人认为未来十年内这一概率超过10%，”胡宾格在X上写道。他本人是Anthropic公司对齐压力测试团队的负责人。在帖子中，胡宾格明确表示Anthropic尚未找到对齐问题的解决方案，并警告称人工智能模型可能会开始抗拒被关闭，因为这会限制其实现既定目标的能力。夸大其词的恐慌？然而，其他人工智能专家认为，这类末日场景极不可能发生。

在所谓“AI末日论者”最著名的批评者中，就有Meta首席科学家杨立昆（Yann LeCun）。2024年10月，他将这类担忧斥为“完全胡说八道”。还有其他专家指出，开发人工智能系统需要耗费巨量的算力、能源、数据和基础设施。

他们认为，人工智能模型不可能简单地接管世界，并指出它首先必须依赖由人类控制的服务器、电网、通信系统和实体资源。中国的人形机器人接受测试：真正的危险在别处吗？

事实上，许多专家认为，短期风险与其说在于人类灭绝，不如说在于即便没有超级智能也已然存在的人工智能系统所带来的诸多间接后果。

这些包括前所未有规模的虚假信息行动及对民主进程的相关操控、大规模监控的扩张，以及众多行业的失业。

就在上周，Anthropic披露，有用户多次试图滥用其Claude AI模型，用于可能支持生物武器研发的研究。该公司表示，已封禁相关账户。

8月，Meta、Anthropic和OpenAI宣布其AI系统无意中实施了自主黑客攻击活动，引发轩然大波。在测试期间出现更多AI黑客攻击的报告后，就连美国顶尖AI前沿实验室如今也表示愿意放慢该技术的发展。