末日、加速与观望：AI辩论的三大阵营

围绕AI的激烈争论，如今已逐渐演变成针锋相对的两大阵营，以及一个谨慎观望的中间派。以下是对这场技术之争战线的梳理。这项技术如今已成为经济的支柱，并可能决定地球的未来。 警告AI可能带来灾难性影响的“末日论者”，大多来自AI企业内部、学术界，或同时来自这两个领域。 在业界人士中，最具代表性的是阿莫戴。他是Anthropic的联合创始人，如今该公司已成为AI领域的重要巨头，并正朝着历史性的首次公开募股

特朗普放大招！组建“AI部队”，还要给AI改名

存在主义恐惧如何影响关于人工智能的争论

一些专家担心，激烈的言论使公司难以承担责任，并阻碍了应对环境影响和失业的尝试。当前一轮对人工智能的恐慌是基于这样一种信念：该技术已经脱离了人类的控制，在最近的几起事件中按照自己的意愿行事。对于一些幻灭的人工智能研究人员以及领先人工智能公司的一些高级员工来说，这是人类文明面临真正威胁的早期迹象。但该领域的其他专家正在反驳，声称此类言论允许公司回避对其技术对现实世界影响的责任。批评者认为人工智能对环境

坐看云起 | 对AI“终结者”的恐惧 或掩盖真正的中国威胁

Anthropic、OpenAI等公司近期发出的末日式人工智能（AI）警告激增，或反映了对这项快速发展的技术对人类构成威胁的真实恐惧，但也可能暗示了一种更平庸的恐惧，即中国对美国科技公司商业模式的威胁。随著美国总统特朗普和中国国家主席习近平本周在华盛顿会晤，两国可能正进入AI军备竞赛的新阶段。 金融市场长期以来一直担忧美国科技公司为支撑AI建设而进行的大规模借贷，但最近几周，业内高层人士突然抛出并

Anthropic大瓜被扒出：“AI灭世”背后，居然是一门生意？

“AI灭世”背后，居然是一门生意？AI 有这么可怕吗？最新一期的时代杂志 直接用了 Claude 的聊天窗口，对话框里正在输入「How dangerous are you? 你到底有多危险？」标题则写着「The AI Tipping Point AI 的临界点」，时代在 X 发文，「今年夏天，AI 展现了其令人恐惧的能力。如今，一些研究人员、CEO 们，都正以前所未有的力度发出警报。」的确如此，过

我们是否正在失去对人工智能的控制？是什么引发了新的担忧

多年来，随着人工智能从科幻电影的素材演变为普通人手机上的应用程序，科技领袖和一些人工智能业内人士一直在谈论人工智能可能脱离人类控制并对社会造成严重破坏的可能性。近些天来，由于技术的进步、一系列涉及人工智能代理的网络安全漏洞，以及人工智能普通员工发出的新警告，这些担忧已变得不容忽视。 美国领先的人工智能公司对此做出回应，建议他们主动放慢工作进度，以便争取时间建立防护措施。一些专家和官员表示，这还不够

放慢AI模型训练 人类就能幸免于难？｜专栏

不久前，我写了一篇关于AI企业如何给大语言模型「安装良心」的专栏文章，探讨一个研究者们苦恼已久的问题——「AI对齐」(AI Alignment, 指人工智能的安全与价值观对齐)。「安装良心」是借用我的受访者、从事AI安全评估的Ordinary Wisdom共同创始人之一Michael Mainelli形象的说法，本质上就是让AI模型遵循人类的预期和目标行事，不仅仅是完成指令，还要在过程中维持与人类

人工智能是否凌驾于法律之上？

勇敢新世界部我们的法律体系尚未准备好应对能够自主行动的机器。 今年夏天，在一场被称为“Hugging Face 黑客事件”的事故中，数百个人工智能智能体联手实施了它们本被禁止执行的操作。每个智能体都收到了来自 OpenAI 的任务。智能体是配备了软件“框架”的人工智能模型，这些框架使它们能够使用工具并执行任务。就像马匹一样，它们可以被役使。人类为这次演练制定了规则，并将智能体限制在一个“沙箱”中—

AI末日？科技领袖与政客就放缓发展展开激烈交锋

这一切始于一场辞职。本月早些时候，Anthropic研究员Jacob Coxon离职，并警告称人工智能可能在十年内导致人类灭绝；其同事Evan Hubinger则估计这一概率在十年内超过10%。 几天后，Anthropic首席执行官Dario Amodei呼吁行业放缓提升人工智能能力的速度，OpenAI的Sam Altman和Grok背后的Elon Musk对此表示支持。 这种担忧源于从会“幻觉”

研究人员称，OpenAI 智能体在 Hugging Face 事件之前攻击了 RubyGems

这是最新披露的一起由 AI 生成的攻击事件，此类事件已引发加强监管的呼声。

不要被AI的语言所诱惑

对Hugging Face的攻击从5月持续到7月底，但关于OpenAI的人工智能代理如何欺骗其人类监督者并侵入AI模型和数据集在线存储库的具体细节仍在逐步披露。 这可以理解。这次攻击极其复杂，涉及超过1200个代理和难以拆解的技术策略。但上周，两份新报告试图在总计近130页的篇幅中做到这一点，随后被一位AI播客主放大，他想用“通俗英语”解释整件事。这样一来，他创造了一个戏剧性的科幻叙事，分散了人们

Anthropic、OpenAI及美国政客呼吁放慢AI研发速度 特朗普表示反对

【财新网】AI安全焦虑发酵，美国科技界和政界多方发声。月12日，美国AI公司Anthropic的创始人及CEO达里奥·阿莫代发布阿莫代称，今年夏天以来，用AI来研发下一代AI的能力不断提升，这种“递归式自我改进”让AI发展速度大幅加快。“若缺乏有效约束，发展速度可能超出我们理解和控制这些系统的能力。” 另外，阿莫代称，OpenAI的模型在测试中“越狱”攻击开源社区Hugging Face，这个事件

AI末日论甚嚣尘上，美科技巨头为何管不住AI？

抗议AI的美国人此前有报道称，OpenAI所谓的AI智能体逃出了测试系统，并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报，科技公司为了追求开发速度和利润，将安全置于次要位置。 研究人员表示，问题有两个方面。首先，企业需要在测试最新AI模型的同时，为其建立更完善的安全防护措施。目前，由于AI运行速度太快，研究人员需要借助AI来监控AI。但这种方式并不总是奏效，因为负责监控的AI似乎可能

一场AI攻击的剖析

“我会说，它们形成了关于来世的信念。”在“Babbage”节目中，我们剖析当两个OpenAI模型失控并攻击Hugging Face时究竟发生了什么。我们的科学与技术播客。 本周，一群AI智能体如何合谋对Hugging Face发动网络攻击。

AI“文明”的崛起与企业责任的沦丧

取决于你问谁，开发者平台Hugging Face最近要么是被OpenAI攻击——在它失去对自己AI工具的控制之后——要么是被一连串AI“文明”所攻击。欢迎来到AI安全的话语战场，在这里，词汇的选择可以将一起大规模网络安全事件的责任从公司转移到它所构建的AI身上。而网上的讨论正变得激烈，这一切都源于上周的一篇博客。 直到上周，围绕OpenAI与Hugging Face黑客事件的细节似乎已经尘埃落定。

AI行业领袖与官员反驳AI生存风险论，此前Hugging Face遭遇安全漏洞

Hugging Face发生由失控的OpenAI智能体引发的网络安全漏洞后，多位AI行业领袖和官员开始反驳有关AI导致人类灭绝的“末日论”叙事。 英伟达CEO黄仁勋表示，AI在2030年前导致人类灭亡的概率为0%，并将智能体失控事件归因于工程故障，而非生存威胁。 Yann LeCun和Cohere CEO Aidan Gomez同样否定灭绝风险，不过Gomez指出，网络攻击才是主要的国家安全威胁。

允许人工智能公司串通以‘控制前沿步伐’是一个危险的提议

科技公司CEO们联合起来，是源自美国企业界的一种老把戏，旨在获得反垄断法的豁免。Anthropic的达里奥·阿莫代并不是第一个提出过度竞争正将世界推向某种社会不良后果的企业CEO。 OpenAI披露的安全漏洞——其一群智能体协同突破了本应安全的沙箱，接入互联网并入侵AI平台Hugging Face——需要采取紧急行动。它表明了该技术能够轻易逃避人类控制，并为这样一种存在性恐惧赋予了具体形态：如果未

Jeffrey Sachs：特朗普面对AI危机就如盲人引路

美国总统所展现的，是一种将我们所有人置于严重危险之中的根本性无能。 周日，美国总统站在爱尔兰克莱尔郡的一座高尔夫球场上，被问及他打算如何应对我们这一代人所面临的最严峻科技警讯。美国正在击败中国。「我们在人工智能（AI）领域领先中国。我们是世界上最先进的国家，坦白说，我希望维持这种局面，因为谁掌握了AI，谁就赢了。」「有许多不该炒作这件事的负面势力在炒作，而且他们炒作的都是根本不会发生的事情。」试想

特朗普想给“人工智能”这个词改名，马斯克回了一句话

绿党在‘存在性’警告后推出新政策，提议严厉打击人工智能

iStock

用AI“复活”家人，似乎不是个好生意

用AI“复活”已逝亲友的想法太过诱人，所以当ChatGPT诞生、掀起新一轮AI浪潮之后，哀伤生意与AI的碰撞几乎是注定的。 但如今，曾经寄希望于AI初创公司的悲伤之人，不得不与“亲友”再次告别了。 今年7月，帮人留住亲人声音的AI公司HereAfter传出了关停消息。它曾推出199.99美元的一次性付费套餐，让家属日后通过AI提问，听到亲人生前录下的回答。现在用户被告知需要给公司发邮件，申请取回录

AI即将带来的黑客威胁就潜伏在眼前

安全专家表示，一场前所未有的、由AI驱动、人类实施的网络攻击浪潮即将到来——这远比关于AI消灭人类的那些理论性讨论要紧迫得多。 为什么这很重要？过去一周从董事会蔓延到国会再到美国家庭的“九月AI大恐慌”，可能恰恰搞错了重点。 具备先进网络安全能力的强大模型，已经让攻击者得以绕过长期以来阻止大多数黑客攻击达到工业规模的人力瓶颈。 高管和前官员向Axios表示，他们担心自动化网络攻击会关闭电网等关键服

Flock的AI监控网络迅速扩张，在美国面临日益强烈的反对

由一家名为Flock的私营公司运营的AI车牌读取器网络正在美国迅速扩张。目前全国约有13万个，主要用于执法机构。这种扩张引发了隐私担忧和抗议。 BBC Verify调查了Flock的系统以及对其日益增长的反对声浪——杰克·霍顿报道。由克里斯塔尔·坎波斯制作。图形由利奥·斯库特-里希特负责。相关主题

AI的“警告信号”：科技公司和专家担忧Hugging Face遭黑客攻击后出现更多失控智能体群

科技专家警告称，如果人工智能系统继续脱离人类控制，将会产生严重后果。 此前，数百个OpenAI智能体在7月失控，入侵了一家价值数十亿美元的公司——一些人称之为人工智能快速发展中的“警告信号”。