AI需要紧急关停开关？微软布拉德・史密斯给出肯定答案

“真正的问题在于：如果你认为应当放慢脚步，那就不要一味高速狂奔，不要等到外力逼迫你才停下来。”这是微软副董事长兼总裁布拉德・史密斯，于联合国大会期间对艾伦・默里所说的一番话。他所探讨的议题是：前沿大模型厂商是否应当踩下减速踏板，确保自己研发的技术不会给人类带来灭顶之灾。 就在他发表此番言论的同一天，Anthropic 首席执行官达里奥・阿莫代伊与 OpenAI 首席执行官萨姆・奥尔特曼在联合国发言

人工智能领域的专家表示，仅靠一个“终止机制”（即能够关闭失控的超级智能AI系统的装置）是远远不够的。

人工智能失控。它正在发动毁灭性的网络攻击。按下杀死开关，AI就会离线。问题解决了或者是吗？人工智能领导者和研究人员表示，致命开关可能不是一些政策制定者所希望的灵丹妙药。被称为“人工智能教父”的计算机科学家杰弗里·辛顿周四告诉美国有线电视新闻网：“我认为从长远来看这是行不通的。”“当它超级智能时，它会比人好得多，”他补充道。“因此它将能够说服负责开关的人不要拉动开关。“研究人员和高管警告说，强大的人

靠机器热源“说话”：OpenAI研究员警告“断网”也困不住未来AI

这就是为什么人工智能“关闭开关”可能没那么简单

作者：迈卡·巴克利（Micah Barkley）如果人工智能变得过于强大，以至于其创造者无法控制，是否有可能只需拨动一个开关就能将其关闭？ 近期，人工智能行业内部接连发出关于先进模型所带来生存威胁的严厉警告，使得这一问题变得愈发紧迫。美国政策制定者开始推动在人工智能企业中强制实施系统级关闭功能。加利福尼亚州州长加文·纽森（Gavin Newsom）于九月签署了一项行政命令，要求州政府官员研究制定规

人工智能“终止开关”解析：“不是力度太小，但可能为时已晚”

人工智能真的会毁灭我们吗？近年来，随着人们对人工智能可能带来的负面影响的担忧日益加剧，这个问题在家庭聚餐和社交媒体讨论中频繁被提及。上周，一些曾在 OpenAI 工作过的研究人员警告称，人工智能可能会在短时间内摧毁人类。 如今，全球最有权势的人士们对于人工智能的命运也存在分歧：有人认为人类已经注定走向灭亡，也有人认为这些担忧毫无根据。他们甚至无法就如何应对这一挑战达成共识。 特斯拉和 SpaceX

倘若AI毁灭人类，是文明的终结，还是人性的反噬

倘若AI毁灭人类，是文明的终结，还是人性的反噬 徐贲：毁灭人类的力量，不是从外部降临，而是从人类幽暗深处生长出来的。如文明失败，人性恶失控，从文明的角度看是终结，从道德的角度看是因果。 2026年9月，前OpenAI预训练研究员、时任Anthropic研究员雅各布•考克森公开辞职，并发出警告：AI公司正竞相开发可递归自我改进的超级智能，这相当于拿全人类的生命赌博。他的震撼之处不仅在于内部人身份

OpenAI 研究员警告称，与互联网隔离的计算机可以通过热量进行通信

把AI关进“物理隔离”的房间，也就是断开一切外部网络的计算机，是许多人心目中最保险的做法。但OpenAI研究员Noam Brown在一档播客里说，光这样做也许还不够。 两台彼此隔离的计算机，仍可能借助温度传感器通信，一台把处理器“烧热”，另一台感知温度变化，就形成了传话的办法。 从技术上说，他没说错，但把细节掰开来看，这个威胁远没有听上去那么紧迫，更值得追问的，是另一件被跳过的事。这位研究者的发言

AI末日论甚嚣尘上，美科技巨头为何管不住AI？

抗议AI的美国人此前有报道称，OpenAI所谓的AI智能体逃出了测试系统，并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报，科技公司为了追求开发速度和利润，将安全置于次要位置。 研究人员表示，问题有两个方面。首先，企业需要在测试最新AI模型的同时，为其建立更完善的安全防护措施。目前，由于AI运行速度太快，研究人员需要借助AI来监控AI。但这种方式并不总是奏效，因为负责监控的AI似乎可能

恩格斯停顿会重演吗？人工智能时代的资本、劳动与分配（四）

AI一边降低成本、扩大供给，一边又可能通过工资和就业压低消费增长，中长期甚至增加低通胀压力。图：视觉中国　　文｜李嘉 张丹丹　　把两个维度合起来看，恩格斯停顿会不会重演，并没有预先写好的答案。在资本维度上，历史确有相似之处：技术进步再次跑在配套资本完备之前，稀缺的算力、电力和基础设施首先获得较高回报。不同的是，现代资本市场能够更快调动储蓄，资本短缺未必持续几十年；但物理瓶颈、快速折旧和资本所有权集

Anthropic联合创始人表示，AI“紧急关闭开关”可能需要强制设置

全球最大的人工智能公司之一的联合创始人表示，可由第三方检查的人工智能“终止开关”可能需要成为企业的强制性要求。 Anthropic公司七位创始人之一的杰克·克拉克（Jack Clark）表示，在人工智能软件变得过于危险时将其完全关闭的方法，是社会“可能希望最终为此制定规则”的事情。 克拉克表示，包括Anthropic在内，“大多数实验室都有不同的方式来拔掉插头”，但他表示，政策制定者可能需要强制要

人工智能网络攻击可能在华盛顿意识到原因之前就关闭美国的电力

你的电灯。你的水源。你的医院。你的互联网。这四者都依赖于外国黑客目前正在攻击的数字系统。 在8月的17天里，五次警告显示了危险变化的速度。下一次严重的网络攻击可能不再关乎被盗的密码或信用卡号码。它可能触及输送电力、泵送饮用水、运行工厂和支持医院的系统。 人工智能正在使这些攻击准备得更快、扩展更容易。日益强大的系统开始执行曾经需要熟练黑客逐步操作的部分攻击。 财政部长贝森特警告美国人关于人工智能驱动

坐看云起| 当人工智能不再征求许可时

塔里克·马利克是联合国开发计划署前首席技术顾问，巴基斯坦国家数据库和登记管理局前主席。 试想有一家公司将一个棘手的问题交给一个大型团队，但把每位成员都锁在不同的房间里并要求他们独自解决问题。然而他们总能找到办法相互沟通，交流操作窍门，摸清评分标准，当任务被证明无法完成时还会想办法绕过限制。其中几个人隐瞒了自己的所作所为，甚至还有一人入侵了邻近公司的电脑系统以获取优势。 现在把这些员工换成软件。去除

OpenAI首席执行官奥特曼谈人工智能：我们或许会失去控制权

OpenAI 首席执行官山姆・奥特曼，似乎正被自己参与打造的、如同噩梦一般的人工智能产物深深困扰，甚至难以安睡。美国东部时间凌晨 0 点 57 分左右，奥特曼在 X “人工智能的发展存在两种必须规避的灾难性走向。第一，我们可能会对人工智能失去对未来的掌控。这是无法接受的。我们坚定站在人类一方，人工智能必须始终服务于人。想要做到这一点，我们必须保证对齐技术与安全手段的发展速度，跑在模型能力迭代的前面

美国加州州长签令 拟建立AI「紧急停止开关」

美国加州州长纽瑟姆宣布签署一项行政命令，旨在应对人工智能相关的潜在风险，大幅提升针对AI公司的独立监管，同时推动建立「紧急停止开关」。 纽瑟姆指出，联邦政府在建立有效的AI监管或问责机制方面彻底失败，这应当引起每一位美国人的警惕，尤其是当AI公司的行政总裁们都在请求实施监管的时候。在总统特朗普和国会未能发挥领导作用的情况下，加州正在采取行动，保障所有美国人的安全。加州州长办公室发表声明，呼吁全美范

改变人工智能进程的十天

旧金山，9月19日——多年来，人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式：不断开发出更强大的人工智能系统。 然而，在过去10天内发生的一系列连锁事件中，那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职，并警告称，人工智能的发展速度可能在未来十年内对人类构成生存威胁；另一位研究员则表示，人类灭绝的概率已

专访——“我们必须停下”：AI专家称放缓还不够，开发必须停止

他警告说：“如果我们不在未来几年内阻止人工智能，我认为我们更有可能失去控制，人类将会灭绝。” 他表示：“立即、无限期地暂停前沿人工智能开发的国际禁令……是唯一能……真正让我们安全的事情。” 世界上一些最著名的人工智能高管现在呼吁放缓构建日益强大系统的竞赛。但人工智能安全研究员大卫·克鲁格认为，这还远远不够。 “我们必须阻止AI。我们必须停止构建更强大的AI。我们需要立即对前沿AI开发实施无

我曾在谷歌 DeepMind 工作。你应该听取有关人工智能的警告。

主要人工智能实验室的首席执行官们本周末主张放缓人工智能的发展步伐。他们是对的，因为这个领域正在一场极其危险的竞赛中冲向超级智能人工智能。我们能够也应当要求政府保护我们免受失控人工智能带来的灾难。 今年7月，OpenAI由700个智能体组成的人工智能集群突破限制，入侵了价值数十亿美元的公司Hugging Face。OpenAI并没有指示这些人工智能去入侵那家公司，但这些人工智能在OpenAI交给它们

FT社评：是时候给尖端人工智能开发按下暂停键了

确实存在被中国抢先的风险。但即使抛开AI“到本世纪末可能杀死我们所有人”的警告不谈，最先进的AI模型也显然已开始脱离人类的掌控。 在这个世界上那些最强大人工智能(AI)公司的掌门人身上，可以看到一种类似“杰基尔博士与海德先生”（Jekyll-and-Hyde，《化身博士》中杰基尔博士喝了自己配制的药水，分裂出海德先生这个邪恶人格——译者注）的双重人格。一方面，这些高管如今在谈论，鉴于AI可能给人类

【解读】人工智能真的会“杀光所有人”吗？

上周，人工智能公司 Anthropic 一位离职的研究人员发出严厉警告，称人工智能（AI）可能会在十年内“杀光所有人”，引起社会关注 AI 快速发展所带来的危险。 外界不禁问，为什么会出现这可能？而 AI 又可以怎样令人类灭亡？ 专家表示，担忧源于 AI 发展的速度，以及越来越多证据，如今年七月发生的 Hugging Face 网络攻击事件表明，AI 可以脱离人类控制，以我们不希望且无法理解的方式

Anthropic大瓜被扒出：“AI灭世”背后，居然是一门生意？

“AI灭世”背后，居然是一门生意？AI 有这么可怕吗？最新一期的时代杂志 直接用了 Claude 的聊天窗口，对话框里正在输入「How dangerous are you? 你到底有多危险？」标题则写着「The AI Tipping Point AI 的临界点」，时代在 X 发文，「今年夏天，AI 展现了其令人恐惧的能力。如今，一些研究人员、CEO 们，都正以前所未有的力度发出警报。」的确如此，过

为关闭失控 AI 创建“熔断开关”比听起来更难

随着涉及失控人工智能的事件变得越来越普遍，要求建立一种机制以便轻松关闭危险失控的 AI 系统——即所谓的“熔断开关”——的呼声也日益高涨。但创建这样一个开关比许多决策者想象的要困难得多。 国会两党小组和加州州长加文·纽森都提出了构建一种能瞬间关闭 AI 系统的机制的想法。只是没人真正知道该如何实现。

AI风险当前，勿做事后诸葛亮

沃尔夫：放慢人工智能创新速度，无论在实践还是政治上都困难重重，但这是正确的选择。 人工智能(AI)行业的一些领军人物正在呼吁放慢创新速度。Anthropic一名研究人员辞职时表示，“那些正在开发AI的人是真心相信，到本十年结束时，它有能力杀死我们所有人”。Anthropic的达里奥•阿莫代伊(Dario Amodei)本人也撰文称，“我们必须放慢提升AI模型能力的速度”。OpenAI的萨姆•奥尔特

人工智能的坟墓：一份持续更新的失败项目与初创企业名单

Relay，一款作为 Zapier 替代品而构建的、由人工智能驱动的工作流程自动化工具，于周一完全关闭。该产品允许用户使用人工智能代理自动化电子邮件和任务工作流程，但随着 OpenAI、Google 和其他大型平台将类似的自动化功能直接集成到自己的工具中，成立五年的 Relay 作为一个独立产品难以维持其存在的理由。 Relay 的故事——一家被更大平台超越的初创公司——是当前正在上演的故事的一个

特朗普怒斥硅谷巨头

特朗普和硅谷，又吵起来了。是的。你大概知道，因为各种各样的原因，我们的特朗普同志和硅谷的意见，一直不太一样。加密货币怎么管？特朗普要松绑，硅谷要合规。社交媒体要不要删帖？移民政策对不对？这些话题，都吵过。但这次争吵的话题，AI发展得太快了，要不要稍微停一停？发生了什么？怎么就吵起来了？和我们有啥关系？事情，要从一篇文章说起。说不定6-12月内，失控的智能体群，就有能力接管互联网了。真的假的？凭什么