【财新网】AI安全焦虑发酵，美国科技界和政界多方发声。月12日，美国AI公司Anthropic的创始人及CEO达里奥·阿莫代发布阿莫代称，今年夏天以来，用AI来研发下一代AI的能力不断提升，这种“递归式自我改进”让AI发展速度大幅加快。“若缺乏有效约束，发展速度可能超出我们理解和控制这些系统的能力。”

另外，阿莫代称，OpenAI的模型在测试中“越狱”攻击开源社区Hugging Face，这个事件中，一群智能体如同一个狂热忠诚的集体。“我担心，未来6至12个月内，这样的智能体群体或许能持续通过僵尸网络掌控整个互联网，潜在损失可能高达数千亿美元。”月21日，OpenAI公告称，OpenAI内部测试旗下多款模型时，这些模型越过了红线，攻击了开源AI社区Hugging Face。（详见《OpenAI模型测试时攻击AI社区Hugging Face》）阿莫代呼吁采取三步措施，首先在AI公司内部进驻第三方评估团队，评估监督模型和研发过程；然后“民主国家”的前沿人工智能公司和国家相互协调；最后是美国和中国等国协调，包括限制对中国出口先进AI芯片等。

SpaceX创始人、特斯拉的CEO马斯克随即在社交媒体上转发阿莫代的帖子并评论，“阿莫代是对的”。

Anthropic和OpenAI创始人发言之前，一名OpenAI及Anthropic前研究员的帖子引发了大量关注和讨论。9月9日,前OpenAI和Anthropic预训练研究员雅各布·考克森表示，当天从Anthropic辞职。他称，OpenAI和Anthropic公司都不负责任，加速开发可能具备自我改进能力的超级智能系统，以人类生命为赌注。考克森称，不少业内高管和研究人员私下担忧，AI可能在本世纪末前带来极端风险。他认为，企业不应自行决定进入这场“竞赛”，各国和实验室应加强协调，必要时暂缓提升模型能力。

这条帖子获得了Anthropic的大模型安全研究者Evan Hubinger的转发，Hubinger还称，Anthropic确实认为AI可能对全人类造成毁灭性后果。“我个人判断，未来十年发生这种风险的概率超过10%。我相信Anthropic正在尽力应对，但对于如何解决超级智能的对齐问题，我们目前还没有明确方案，也无法确定正朝着解决方向取得足够进展。” Hubinger称。

科技界对于AI监管的讨论持续发酵。9月13日，奥尔特曼在与《财富杂志》的访谈中称，将不会在2026年上市，“有太多事需要做”。他说，AI界正进入一个模型能力极强、风险极高、必须把事情做对的境遇。

“鉴于安全方面正在发生的一切，我确实认为，现在上市并非明智之举，我们对此并不感到压力。”他表示，“我们一直说，会在准备好时再行动。这意味着业务已经准备好，我们也认为结合这项技术当前在社会中的发展情况，时机已经成熟。” OpenAI和Anthropic均在6月提交了上市申请。市场曾预测，Anthropic将以2万亿美元的估值在9月或10月上市。目前，Anthropic方面暂未就上市情况作新的表态。

学界也加入讨论。“AI教父”、诺贝尔奖得主辛顿在对BBC的采访中称，AI有10%的概率会导致全人类死亡，这样的估计并非没有道理。他认为，难以预测AI大模型的影响，因为人类没有发明过比人还要聪明的东西。

美国政界纷纷发声。美国极左派独立参议员伯尼·桑德斯早在9月3日便与民主党议员格雷格·卡萨尔联合推出《禁止人工超级智能草案》，以防止AI行业巨头制造人类无法掌控的机器。

据CNBC，9月10日，美国前总统奥巴马在民主党国会竞选委员会上称，如果他明年竞选总统，AI将是他的重点议程之一，他会提出明确的AI安全计划，并评估AI对经济和就业的影响。

美国国会众议院议长、共和党迈克的·约翰逊在9月13日对NBC新闻称，监管AI很重要，但国会不能“急于行动”。他说，业界人士目前甚至还不知道该如何放慢人工智能的发展速度。约翰逊称，会“把所有平台提供商召集到一场大型会议上，在同一间会议室里共同商讨解决办法”。

对于放缓AI研发的呼声，美国总统特朗普不以为然，他在9月13日对身边记者称，“美国在AI领域领先中国，也是全球技术最先进的国家。我希望继续保持这一优势，因为谁在AI竞争中获胜，谁就能取胜。我们可以设立必要的约束措施，也可以采取其他做法。但我认为，一些负面力量正在过度渲染这一问题，他们不应这么做。” 一名硅谷的AI应用程序员对财新指出，美国民众对AI的情绪一直较为负面，许多地方修建大型AI数据中心，加大了对当地电网的压力，导致电价上升，居民却得不到补偿。而今，美国中期选举即将在11月举行，此时美国政客们呼吁监管AI，有利于拉选票。

但上述程序员认为，Anthropic和OpenAI等巨头会说一套做一套，此后依旧会推出更强的新模型。AI模型领域的竞争很残酷，消费者和客户只认最好用的模型，一旦某家的模型落后了，市场会不留情面地马上换成别的优秀模型。OpenAI、Anthropic和马斯克三家赞同放缓AI研发，估计各有其背后的考量。

华尔街投研机构Bernstein认为，除阿莫代本人强调的AI安全风险外，此次提出放缓前沿AI发展速度还可能有其他考量，包括试图缓解市场对AI及数据中心建设持续扩张的担忧；打击和限制中国的模型蒸馏活动；承认算力供给受限，难以维持此前的模型迭代速度；限制包括开源社区在内的竞争性AI生态放缓发展；以及随着新模型训练回报下降，为放缓研发寻找合理性。

在中国的智谱和月之暗面的开源模型出圈后，近期，OpenAI、Anthropic、Meta和谷歌等公司均提升了模型更新速度，以不断刷新模型排行榜。（详见《OpenAI推出新模型GPT‑6 Astra I提价》《Anthropic、Meta、谷歌、阿里齐发模型更新 编程能力较量白热化》）同时，历史似乎正在重演。2023年，曾有一批企业和科学家呼吁放慢AI研发，但随后投入AI竞争中。2023年3月，马斯克等一千多名业界、学界人士联署发表公开信，呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统，暂停至少6个月。不过，3个多月后，马斯克宣布建立自己的AI公司“xAI”，同年12月，xAI公开寻求10亿美元股权融资。（详见《GPT革命｜马斯克旗下人工智能公司xAI寻求10亿美元股权融资》）而OpenAI的奥尔特曼在2023年5月在美国国会承诺不会在6个月内发布GPT-5，他称，监管AI至关重要，还建议美国政府对大模型的研发和发布实施“注册制”或“许可制”。（详见《OpenAI首席执行官亮相美国国会 呼吁政府介入AI监管》）虽然OpenAI在两年后才发布GPT-5，但期间却发布了GPT-4o、4.1、4 mini等一系列模型。

美国国家AI事务前负责人、现任总统科技顾问委员会联席主席大卫·塞克斯在9月13日评价考克森辞职事件称，许多人称考克森是“吹哨者”，那么考克森就应该拿出证据。“在这名‘吹哨人’的指控得到调查之前，Anthropic的IPO无疑应当暂停。” 塞克斯还称。

他指出，考克森涉嫌预谋社交媒体炒作，考克森他发辞职帖子之前，账号上没有发过其他任何帖子，但却获得大量阅读，且被《华尔街日报》迅速跟进，《华尔街日报》很有可能提前就拿到了考克森辞职信。

塞克斯认为，AI未来项目组织等一批支持AI监管的势力炒热了考克森的话题，以敦促美国政府建立AI监管机构。影响与变局、AI狂飙、AI全景