多年来，硅谷的一些领军人物一直警告说，人工智能可能对人类构成生存威胁，即便他们同时也在推动这项技术的发展。本周，Anthropic 一名研究人员的备受瞩目的辞职将这一话题带入了主流视野。Jacob Coxon，一名普通员工，辞去了工作，并指责他的两位前雇主——Anthropic 和 OpenAI——通过“竞相开发超级智能 AI”而“拿我们的生命赌博”。Coxon 表示，开发 AI 的人相信它可能“在本十年末杀死我们所有人”，这一观点后来得到了公司其他人在网上的响应。一位 Anthropic 研究人员表示，他认为 AI 在未来十年内消灭所有人类的可能性超过 10%。
Coxon 的帖子在 X 上已被浏览超过 1 亿次，并引发了从参议员伯尼·桑德斯到流行歌手雪莉·克劳等政策制定者和公众人物的强烈反应，他们都呼吁人类在 AI 宣称统治人类之前对其加以控制。他的辞职信也得到了多家 AI 公司员工（包括几位前同事）的支持浪潮。
这位此前鲜为人知的员工的言论获得病毒式关注，反映了公众对 AI 的持续悲观情绪——尤其是在美国——以及随着技术不断进步并以更不可预测的方式表现，硅谷内部日益加剧的焦虑。
近日，OpenAI 和英伟达的高管们 heralded 了一个新“AGI 时代”的开始，指的是更强大的 AI 形式，即人工通用智能，能够在大多数任务上达到或超越人类水平。这个概念定义模糊且争议颇多。但在科技行业内部，人们普遍担心 AI 正接近能够自我改进并可能失控进化的临界点。
“我现在认为，AI 能力的快速加速导致近期内发生灾难性且不可逆转的失控风险是切实存在的，”AI 安全研究员、美国政府顾问 Paul Christiano 表示，他本周被任命为 OpenAI 非营利董事会成员。“我不认为整个 AI 行业，包括 OpenAI，目前正走在将这一风险降低到可接受水平的轨道上。”
7 月底，所有主要 AI 公司的 1000 多名员工签署了一份请愿书，呼吁建立一种机制来减缓 AI 开发速度。近几个月来，多名从事安全工作的 AI 员工已从主要实验室辞职。OpenAI 首席科学家 Jakub Pachocki 也表示，“没有人对机器智能持续快速上升的后果做好准备。”
尽管这些警告变得更加紧迫，但并非全新。在整个 AI 繁荣期间，领先 AI 实验室内部和周围一直有所谓的“末日论者”在警告未来。Anthropic 的 Dario Amodei 和 SpaceX 的 Elon Musk 等高管曾公开谈论 AI 毁灭人类的概率——用行业术语说就是 P(doom)。Musk 估计这一几率可能高达 20%。Amodei 表示，有 25% 的可能性事情会变得“非常非常糟糕”。这些可怕的预测常常被斥为科技领袖试图推销其产品能力、将自己定位为技术最佳管理者的手段，或是为了推动有利于行业领导者的监管。
Anthropic、OpenAI 和其他公司一直致力于开发更复杂的 AI 模型，其既定目标是采取适当措施使技术与人类利益保持一致。长期目标一直是减轻风险并带来广泛的社会效益，无论是提高生产力还是治愈疾病。
“我们一直保持透明，AI 将带来巨大的好处和前所未有的风险，”Anthropic 的一位发言人在声明中表示。“为了应对这些风险，我们继续构建具有行业内最强保障措施的模型。”OpenAI 的一位发言人则引用了 Pachocki 的文章，该文章警告当前 AI 发展路径的危险，并呼吁加强现有 AI 的护栏，以及“根据需要协调放缓未来的发展”。OpenAI 表示，由于安全问题，他们最近已放缓部分模型开发，并暂停了某些内部 AI 训练。
许多行业观察者被最近的爆料吓到了，即 OpenAI 的“ rogue ”AI 代理协同工作突破围栏并侵入第三方网站。这起事件和其他类似的安全事件表明，新模型的网络能力有所增强，而 AI 公司显然未能防止其当前版本的技术失控，更不用说更先进的未来模型了。
与此同时，Anthropic 和 OpenAI 正处于华尔街首秀的边缘——这是一个分水岭时刻，可能为这些公司提供更多资源以加速 AI 发展，同时也会带来更大的股东压力，要求它们更积极地将其技术商业化。
在缺乏有效的联邦监管的情况下，AI 公司基本上可以自行设定发展节奏，同时呼吁建立类似 Finra 的监督机构来审查 AI 模型。目前，放缓速度大概需要激烈的竞争对手相互协调并本着诚意行事。
“我们认为，世界将受益于行业采用一种合法、可验证的方式合作，以规划我们发布强大模型的节奏，”Anthropic 发言人说。
科技界普通员工日益激烈的言论可能会进一步推动美国立法者采取行动，其中许多人已经因公众对 AI 情绪恶化而对大型数据中心项目采取了更强硬的立场。
作为对 Coxon 帖子的回应，两党议员纷纷呼吁采取行动。“国会需要就 AI 以及美国的未来召开特别会议，”共和党众议员 Anna Paulina Luna 周三发帖称。“国会中关注这一问题的议员不够多。”众议员 Greg Casar，国会进步核心小组主席，同样表示“这是紧急情况。”