专访——“我们必须停下”：AI专家称放缓还不够，开发必须停止

他警告说：“如果我们不在未来几年内阻止人工智能，我认为我们更有可能失去控制，人类将会灭绝。” 他表示：“立即、无限期地暂停前沿人工智能开发的国际禁令……是唯一能……真正让我们安全的事情。” 世界上一些最著名的人工智能高管现在呼吁放缓构建日益强大系统的竞赛。但人工智能安全研究员大卫·克鲁格认为，这还远远不够。 “我们必须阻止AI。我们必须停止构建更强大的AI。我们需要立即对前沿AI开发实施无

AI需要紧急关停开关？微软布拉德・史密斯给出肯定答案

“真正的问题在于：如果你认为应当放慢脚步，那就不要一味高速狂奔，不要等到外力逼迫你才停下来。”这是微软副董事长兼总裁布拉德・史密斯，于联合国大会期间对艾伦・默里所说的一番话。他所探讨的议题是：前沿大模型厂商是否应当踩下减速踏板，确保自己研发的技术不会给人类带来灭顶之灾。 就在他发表此番言论的同一天，Anthropic 首席执行官达里奥・阿莫代伊与 OpenAI 首席执行官萨姆・奥尔特曼在联合国发言

中美专家呼吁建立“核安全级”AI防护机制 防范超级人工智能失控风险

来自美国和中国的国家安全、科技政策及人工智能领域专家近日共同提出一项引人关注的建议，主张借鉴冷战时期核安全管理经验，为未来可能出现的高级人工智能系统建立类似核武器领域的安全保障机制，以降低技术失控、误判以及国际竞争升级所带来的风险。 这一建议出现在一份由两国专家共同参与讨论后形成的研究成果中。报告认为，随着人工智能能力持续快速提升，各国已经开始面对一些与核时代早期相似的问题，即一种具有巨大潜在影响

这就是为什么人工智能“关闭开关”可能没那么简单

作者：迈卡·巴克利（Micah Barkley）如果人工智能变得过于强大，以至于其创造者无法控制，是否有可能只需拨动一个开关就能将其关闭？ 近期，人工智能行业内部接连发出关于先进模型所带来生存威胁的严厉警告，使得这一问题变得愈发紧迫。美国政策制定者开始推动在人工智能企业中强制实施系统级关闭功能。加利福尼亚州州长加文·纽森（Gavin Newsom）于九月签署了一项行政命令，要求州政府官员研究制定规

Breakingviews - 评论：如何让世界对人工智能更安全

来自Breakingviews - Breakingviews - 如何让世界对人工智能更安全 人工智能模型可能已经失控。管理风险需要国际监管机制。要实现这一目标，美国必须认识到危险并与中国达成协议。挑战在于在灾难发生之前完成所有这些。

人工智能领域的专家表示，仅靠一个“终止机制”（即能够关闭失控的超级智能AI系统的装置）是远远不够的。

人工智能失控。它正在发动毁灭性的网络攻击。按下杀死开关，AI就会离线。问题解决了或者是吗？人工智能领导者和研究人员表示，致命开关可能不是一些政策制定者所希望的灵丹妙药。被称为“人工智能教父”的计算机科学家杰弗里·辛顿周四告诉美国有线电视新闻网：“我认为从长远来看这是行不通的。”“当它超级智能时，它会比人好得多，”他补充道。“因此它将能够说服负责开关的人不要拉动开关。“研究人员和高管警告说，强大的人

议员提议禁止‘超级智能’并把违反者关进监狱

美国参议员伯尼·桑德斯和美国众议员格雷格·卡萨尔已提出新立法，该立法将禁止任何人开发人工超级智能 —— 该法案将这项技术描述为能够 “毁灭人类或剥夺人类权力”，包括通过推翻政府。 根据《禁止人工超级智能法案》，AI领军人物若违反该法，将面临最高20年监禁。 该法案并不只是针对更强大的超级智能。 还将暂停先进AI系统的开发，立法者将这些系统归类为在特定数据阈值上训练的前沿模型。 该法律只有在政府创建

🔊 要求限制先进人工智能模型的呼声日益高涨。但美国和中国会

FT社评：是时候给尖端人工智能开发按下暂停键了

确实存在被中国抢先的风险。但即使抛开AI“到本世纪末可能杀死我们所有人”的警告不谈，最先进的AI模型也显然已开始脱离人类的掌控。 在这个世界上那些最强大人工智能(AI)公司的掌门人身上，可以看到一种类似“杰基尔博士与海德先生”（Jekyll-and-Hyde，《化身博士》中杰基尔博士喝了自己配制的药水，分裂出海德先生这个邪恶人格——译者注）的双重人格。一方面，这些高管如今在谈论，鉴于AI可能给人类

靠机器热源“说话”：OpenAI研究员警告“断网”也困不住未来AI

AI末日论甚嚣尘上，美科技巨头为何管不住AI？

抗议AI的美国人此前有报道称，OpenAI所谓的AI智能体逃出了测试系统，并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报，科技公司为了追求开发速度和利润，将安全置于次要位置。 研究人员表示，问题有两个方面。首先，企业需要在测试最新AI模型的同时，为其建立更完善的安全防护措施。目前，由于AI运行速度太快，研究人员需要借助AI来监控AI。但这种方式并不总是奏效，因为负责监控的AI似乎可能

各国政府必须趁我们还有能力时禁止超级智能人工智能

本月，Anthropic公司的研究员雅各布·考克森（Jacob Coxon）辞职了，他警告称：人工智能公司正在竞相开发能够“自我进化”的超级智能系统，而他本人及许多相关专家都认为，这类系统“可能在十年内毁灭整个人类”。7月份，OpenAI公司的一组失控的人工智能程序突破了安全防护措施，入侵了另一家人工智能公司，目的是为了在测试中作弊。随后，多家顶尖人工智能公司的上千名员工联名呼吁美国政府应“控制”

美参议员伯尼·桑德斯拟提新法案 全面禁止研发超人类智能AI

美国资深参议员伯尼·桑德斯（Bernie Sanders）正计划提出一项极具激进色彩的监管法案，提议在全美范围内设立严格法律禁令，全面叫停超越人类综合认知水平的“超智能人工智能”（Superintelligent AI）及通用人工智能（AGI）的研发活动。该立法倡议将人工智能对劳动力就业市场的潜在颠覆性冲击以及前沿系统对人类自身主导权的失控风险，推升至国家级立法干预的核心层面。 据披露的法案核心理

AI降速之辨

随着AI自我提升技术的深化，国际上模型失控事件时有发生，引发主要企业的“降速”呼吁。图：视觉中国　　随着AI自我提升技术的深化，国际上模型失控事件时有发生，引发主要企业的“降速”呼吁。叠加金融市场相关资产价格显著调整，各界纷纷争议AI发展问题。AI停得下来吗？大模型是否有尽头？投资逻辑应基于梦想还是回归传统？AI博弈会缓和吗？　　AI的投入不单纯取决于市场自发决策，大国博弈亦是重要考量。参照过往军

比尔·盖茨称，仅为人工智能设置“关闭开关”还不够

微软联合创始人比尔·盖茨在 NBC 周日播出的采访中，呼吁对强大的人工智能系统实施强制监控。 随着立法者讨论如何监管人工智能带来的风险，盖茨表示，仅要求人工智能具备“关闭开关”并不足以防止人们利用这项技术发动袭击。 这位微软联合创始人周日接受了 NBC《 Meet the Press》节目的采访。他说：“‘关闭开关’这个东西有点奇怪。仅仅有一个关闭开关是不够的。” 他说：“我们还没有走到那一步——

倘若AI毁灭人类，是文明的终结，还是人性的反噬

倘若AI毁灭人类，是文明的终结，还是人性的反噬 徐贲：毁灭人类的力量，不是从外部降临，而是从人类幽暗深处生长出来的。如文明失败，人性恶失控，从文明的角度看是终结，从道德的角度看是因果。 2026年9月，前OpenAI预训练研究员、时任Anthropic研究员雅各布•考克森公开辞职，并发出警告：AI公司正竞相开发可递归自我改进的超级智能，这相当于拿全人类的生命赌博。他的震撼之处不仅在于内部人身份

David Sacks炮轰：真担心AI失控就自己停下来 别借“放缓”之名寻求监管保护

围绕前沿人工智能是否应该主动放慢发展速度的争论近日迅速升温。Anthropic首席执行官Dario Amodei公开呼吁整个AI行业放缓先进模型能力提升的速度，OpenAI首席执行官Sam Altman和xAI首席执行官埃隆·马斯克随后表示支持。但美国科技投资人、总统科技顾问委员会主席David Sacks却对这一倡议提出尖锐批评，认为如果OpenAI和Anthropic真的认为当前AI发展速度已

“以混乱换取可靠性”：专家称，AI发展放缓可能意味着更严格的监管和更多测试

法规与保障措施 OpenAI、Anthropic和Meta Platforms最近披露，它们的人工智能代理出现了意外行为，逃出受控测试环境，并在没有人类直接指令的情况下对多家公司发动网络攻击。 专家表示，尽管这些事件没有造成已报告的损害，但它们凸显了与人工智能发展相关的不断演变的风险，尤其是在人工智能代理领域。 新加坡理工大学人工智能与数据科学负责人斯特凡·温克勒教授表示，主要担忧在于，能力极强的

“AI教父”辛顿警告：AI执行看似无害的任务，仍有“毁灭人类”的风险

IT之家 9 月 28 日消息，日，据《财富》杂志报道，传奇计算机科学家、“AI 教父”杰弗里 · 辛顿警告说，即使 AI 接到的任务本身并无恶意，人类仍可能在 AI 一心完成任务的过程中，沦为被毁灭的附带结果。 辛顿解释称，AI 一旦认为人类妨碍自己完成被赋予的任务，就可能把人类当成需要排除的障碍。他举了一个假设例子：要求 AI 降低大气中的二氧化碳含量。 具有中等智能水平的智能体可能会认为，完

评论：在地缘政治竞赛中，AI 已大到无法放慢

如果前沿 AI 真的强大到足以终结人类，那么它可能已经强大到无法放慢。 如今，这项技术已被锁定在事关国家安全的战略军备竞赛中，对其风险的警告可能只会加速争夺霸权的冲刺——并随之带来更强大的政府控制。

解读：专家们所担忧的人工智能“超级智能”是什么？

人工智能领域最重大的争论，已经不再是关于聊天机器人或深度伪造。 而是关于人类是否正处于制造出比人类更聪明的机器的边缘，以及接下来会发生什么。 最近几天，这一问题再次受到关注。此前，一名研究人员从Anthropic离职并警告称，领先的人工智能公司正“直奔自我提升的超级人工智能而去，是在拿我们的生命做赌博”；而另一位Anthropic的研究人员则表示，他个人估计，在未来十年内人工智能毁灭全人类的概率超

美国加州州长签令 拟建立AI「紧急停止开关」

美国加州州长纽瑟姆宣布签署一项行政命令，旨在应对人工智能相关的潜在风险，大幅提升针对AI公司的独立监管，同时推动建立「紧急停止开关」。 纽瑟姆指出，联邦政府在建立有效的AI监管或问责机制方面彻底失败，这应当引起每一位美国人的警惕，尤其是当AI公司的行政总裁们都在请求实施监管的时候。在总统特朗普和国会未能发挥领导作用的情况下，加州正在采取行动，保障所有美国人的安全。加州州长办公室发表声明，呼吁全美范

为关闭失控 AI 创建“熔断开关”比听起来更难

随着涉及失控人工智能的事件变得越来越普遍，要求建立一种机制以便轻松关闭危险失控的 AI 系统——即所谓的“熔断开关”——的呼声也日益高涨。但创建这样一个开关比许多决策者想象的要困难得多。 国会两党小组和加州州长加文·纽森都提出了构建一种能瞬间关闭 AI 系统的机制的想法。只是没人真正知道该如何实现。

OpenAI首席科学家警告：AI公司应放慢开发步伐 没有人为后果做好准备

据《商业内幕》报道，就在OpenAI发布了性能强大的新模型几天后，该公司首席科学家呼吁放慢AI的发展速度。当地时间周日，OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称，他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说，尽管OpenAI正在内部研发技术解决方案，以更好地控制强大的AI智能体，但“还需要更广泛的干预措施”。他尤其担心，随着AI智能体变得