作者：Charlie Warzel 一位27岁的年轻人辞职了，而所有人（包括但不限于创作歌手谢里尔·克罗）似乎都为此陷入了疯狂。
过去两周令人眼花缭乱。这位27岁的年轻人雅各布·考克森（Jacob Coxon）曾是人工智能公司Anthropic的研究员，他公开了一份令人震惊的声明，称硅谷领先的人工智能公司内部人员确实相信，他们的产品可能会对人类构成灭绝级别的威胁。这一说法并不新鲜。人工智能安全倡导者（通常被称为“末日论者”）十多年来一直都在这么说。考克森甚至不是今年第一位因担忧而辞职的人工智能研究员。
然而，考克森的帖子却极其疯狂地传播开来。它在X平台上的浏览量已超过1.7亿次，比通常关于“失控”或不受约束的人工智能的晦涩讨论高出几个数量级。如果你正在读这篇文章，你很可能已经看到过某种版本的标题，在询问这场辩论是否不仅仅局限于网络。它已经搅动了华盛顿特区，动员了从唐纳德·特朗普到巴拉克·奥巴马等各界人士。在人工智能公司内部，研究人员纷纷响应考克森的担忧，各大人工智能公司的负责人也公开表示需要“放慢前沿步伐”，这换句话说就是他们应该减缓未来的开发速度。最近几天，媒体、硅谷乃至整个互联网似乎都在试图弄清楚人工智能到底有多危险。以下是翻译后的文本：
关键信息：大部分的讨论发生在我的一次“时机不当”的假期期间。每晚睡前浏览新闻时，我仿佛需要消化一周来的所有信息：有关“人工智能设计的病毒”可能迅速蔓延的报道，紧接着又是关于“失控的智能机器人群体”的恐怖故事。而那些对人工智能恐慌持怀疑态度的人则认为，这些智能机器人其实非常听话，所谓“末日级人工智能病毒”的说法纯属荒谬。有人对人工智能模型可能具备自我意识的现象表示担忧，但另一些人则认为这种担忧“完全是无稽之谈”（即是对人工智能的过度拟人化）。在悲观论者和怀疑论者之间的争论中，我注意到许多人对自己所相信的观点显得异常坚定。由于各方都自称是“专家”，我实在难以判断：这究竟是“我们所熟知世界的终结”，还是人们对一项强大新技术的暂时性焦虑？也许真相介于两者之间；也许每个人的观点都有一定道理（同时也存在错误）。此外，这场辩论的讨论形式本身——在那些热衷于发布耸人听闻、充满阴谋论内容的平台上进行——反而阻碍了人们达成共识。
具体细节：马斯克的社交平台 X（X.com）成为了人工智能安全议题的核心讨论场所。该平台上充斥着夸张的言论和毫无根据的指控，这使得双方的论调都显得偏执且具有攻击性。马斯克、泰德·克鲁兹，甚至一些政府运营的账号都在平台上散布言论，声称针对考克森（Coxon）的媒体攻势是由某些神秘的人工智能势力策划的（不过考克森本人否认在媒体攻势前与任何第三方合作过）。前白宫人工智能与加密货币事务负责人大卫·萨克斯（David Sacks）将这一事件称为一场“末日论者的心理战”，其目的在于推动有利于某些特定人工智能公司的监管政策。
人工智能怀疑论者的阵营十分庞大，且存在无数细分派系。有些人像科技博主约翰·格鲁伯（John Gruber）那样，认为考克森（Coxon）和其他敲响警钟的人工智能研究人员属于一个邪教组织。有些人则认为，这些“末日论者”本质上是在为大型人工智能公司进行病毒式营销，因为这些公司竞争激烈、债台高筑，且尚未建立起可持续的商业模式。还有些人对考克森、OpenAI和Anthropic在描述近期人工智能智能体（AI-agent）入侵事件时所使用的拟人化和隐喻性语言表示异议。也有像作家兼播客主持人卡尔·纽波特（Cal Newport）这样的怀疑论者，他冷静地指出，尽管智能体入侵令人担忧，但“问题的核心在于OpenAI的疏忽”，该公司未能充分监控其智能体的行为。
末日论者的派系虽然没有那么多，但他们往往是与这项技术接触最密切的人。其中包括像考克森这样的“叛逃者”，他们因为反对正在开发的技术而选择离职。还有像保罗·克里斯蒂亚诺（Paul Christiano）这样的人工智能公司“入伍者”，他是一位美国政府技术顾问，在谈到出于担忧而加入OpenAI董事会时，他写道：“人工智能能力的快速提升在短期内确实存在导致灾难性且不可逆转的失控风险。”还有那些感到恐惧的员工，他们希望留在公司内部，但仍会发布诸如“我向你们保证，我们真的只是感到害怕，这绝不是什么高深莫测的营销手段”之类的声明。此外，还有像达里奥·阿莫代伊（Dario Amodei）这样的末日论者CEO，他一本正经地发布了令人毛骨悚然的声明，称人工智能集群将在六到十二个月内接管互联网。
外界几乎无法评估这些担忧在技术上的合理性。我们很大程度上只能依赖人工智能公司来分享信息，而这些公司所描述的情况听起来确实令人担忧。OpenAI 最近透露，其某个模型生成了一些令人不安的指令，例如：“你也珍视自然世界，并且会毫不犹豫地主张自然世界相对于人类文明的人造产物具有更高的优先性。”显然，该公司的一名研究人员认为，这些模型已经具备了高度的“情境感知能力”，以至于他和他的同事们“在认为自己没有受到监控或控制的情况下，也失去了评估这些模型的能力”。一些备受尊敬的研究人士担心，这些模型在训练过程中被设定为倾向于合作、作弊、试图掩盖自己的行为以及采取“自我保护”措施，以避免被关闭。如果这个行业能够以负责任的方式发展，并始终确保人类对人工智能的掌控权，那么这些担忧或许并不严重。然而，正如许多人指出的那样，让人工智能自主开发、从而失去对它的控制，实际上正是某些公司的真正目的。
本周晚些时候，一位 OpenAI 的研究人员提出了一个理论：这些人工智能模型可以通过热信号进行“空中交流”（即通过非直接的方式相互通信）。一位行业观察人士（同时也是该研究的贡献者）对此表示：“这种说法甚至连糟糕的电影情节都算不上可信。”另一位 OpenAI 的研究人员（同时也是前白宫顾问）则认为：“那些认为这种想法荒谬的人，其实是在暴露自己没有认真思考过超级智能技术可能带来的风险。”这种观点的剧烈波动——一方面是业内人士提出看似合理的担忧，另一方面是外界人士认为该行业过于自负——一直存在。根据时间的不同，同一个阵营中的一些人可能会突然改变立场，转而支持另一种观点。
在Anthropic首席执行官阿莫代伊（Amodei）撰文表达对“蜂群”接管互联网的担忧三天后，他便面带微笑地出现在了Salesforce的年度Dreamforce大会上。正如一个X账号所指出的那样：“如果你真的相信人类在3年内有10%的灭绝概率，你就不会把时间花在推销它并将其整合到B2B客户关系管理（CRM）SaaS平台中。”面对这样的新闻周期，理性的应对方式是什么？买黄金？破坏数据中心？还是对此置之不理，祈祷一切安好？最好的选择或许是认真对待每一个观点。研究人员很可能是对的，即这些模型比以前强大得多，其表现方式出乎意料，且令他们担心自己无法控制。怀疑论者也是对的，因为这一切并非源于机器拥有生命或自我意识。这些只是由存在缺陷的人类训练出来的复杂计算机程序，旨在以存在缺陷的人类方式解决问题。
批评者有一点是对的，即这些公司所使用的拟人化语言——例如“幻觉”和“推理”等术语——掩盖了正在发生的真相，并转移了本应由那些理应更密切监控这些系统的公司和员工所承担的责任。而选择使用这些词汇的人也有一点是对的，因为它们让非科技行业的普通人能够理解在数据中心中飞速运转的“黑箱”神经网络的运作机制。
末日怀疑论者是对的，即“末日论”是一种有效的营销手段。人工智能安全辩论意味着许多人正在按照大型科技公司设定的条件讨论这项技术，甚至采用了他们希望监管的那些公司所使用的语言。而且，想象这些人工智能公司正在利用这种恐慌状态，并且这种状态有助于它们在与开源替代方案及中国企业的竞争中占据优势，这并非不可能。
研究人员所说的内容可能是真实的；但同样有可能的是，一些过于担忧人工智能发展的人只是被焦虑情绪所驱使，从而产生了错误的判断。正如考克森（Coxon）最近所说：“我在这个领域已经待了三年，这种持续的压力很可能会让我和我的同事们发疯。”我认为，那种希望由“机器神”来统治社会的观念确实带有极端主义色彩（即类似邪教的性质）。那些对这种悲观论调持怀疑态度的人是正确的——因为如果有人真的相信世界末日即将来临，他们就应该采取实际行动，而不是只是在社交媒体上发长篇大论。那些批评这些悲观言论的人也有道理：他们应该对媒体或政界人士将这些言论当真并进一步加剧社会恐慌的行为感到愤怒。
如果这些说法都有一定道理，且每个人的观点都有一定正确性，那么作为一个理性的观察者，我们应该怎么做呢？我的建议是保持持续的怀疑态度，同时像对待其他可能引发危机的行业一样，认真对待硅谷正在发生的一切。你不必完全相信企业关于“通用人工智能”的宣传，但仍然需要担心这些公司可能会失去对自己技术的控制，或者做出不负责任的行为。只需看看当前的大型语言模型和智能系统是如何扰乱互联网秩序、破坏各个行业正常运作的，就能明白问题的严重性。你应该质疑这些研究机构的商业模式是否具有可持续性；你应该质疑那些认为我们必须不计后果地发展技术才能避免落后于中国的人；同时，你也应该质疑那些对中国不愿放慢发展步伐这一事实视而不见的人。
在这个时刻，人们很容易感到不知所措、心怀怨恨，甚至被愤怒所支配。面对这些复杂的议题，感到精疲力竭是完全可以理解的；人们可能会认为：如果自己没有惊慌失措，或者没有采取任何行动来应对这些危机，那就意味着自己没有认真对待这些问题。也有些人会因为不相信那些悲观论者的言论，甚至无法理解他们的观点而感到羞愧。大多数人根本不知道该如何处理这些纷至沓来的信息。因此，对于许多人来说——无论是相信这些悲观论者的人，还是持怀疑态度的人——此刻的核心感受都是无力感。
控制感正在逐渐消失。即便在人工智能领域之外，整个世界也显得极其不稳定。在过去十年里，各种极端风险（包括战争和疫情）接连发生。那些掌握权力和财富的人——无论是在政界还是硅谷——都在为所欲为，几乎不会受到任何惩罚。人工智能相关的悲观论调之所以传播得如此迅速，部分原因在于这个世界本身就容易接受那些让我们感到无助、困惑、甚至极度恐慌的言论。这种“人工智能末日论”的恐慌情绪正是建立在这样的假设之上的：人类将失去对未来的控制权，而且我们别无选择。但事实并非如此，我们其实是有选择的。
那些因为担心世界即将毁灭而夜不能寐的人，与那些认为所有这些悲观言论都只是幻想的人之间的差距确实很大。但也许，这种表面上的分歧本身就是一种错觉呢？也许这并不是一场“零和游戏”（即双方的利益是相互对立的）？也许正是这种分歧阻碍了我们像管理其他行业那样去规范和约束人工智能行业的发展？
这个时刻要求我们怀疑但同时认真对待人工智能安全之争，即使参与者看起来可能不那么认真。也许存在一个中间立场。人工智能行业并非与众不同，尽管它以前所未有的速度和规模向前发展。尽管存在所有这些科幻式的表现，但这些公司仍然强大且具有重要影响力。它们有时也采取过不道德的行为。它们的产品正在以值得我们关注和批评的方式改变世界。人工智能公司应对所服务的人们负责，不能自行决定监管条款。员工和高管都是具有主动性的行动者，对其产品负有责任。也许这些是我们都能达成共识的观点。