AI需要紧急关停开关？微软布拉德・史密斯给出肯定答案

“真正的问题在于：如果你认为应当放慢脚步，那就不要一味高速狂奔，不要等到外力逼迫你才停下来。”这是微软副董事长兼总裁布拉德・史密斯，于联合国大会期间对艾伦・默里所说的一番话。他所探讨的议题是：前沿大模型厂商是否应当踩下减速踏板，确保自己研发的技术不会给人类带来灭顶之灾。 就在他发表此番言论的同一天，Anthropic 首席执行官达里奥・阿莫代伊与 OpenAI 首席执行官萨姆・奥尔特曼在联合国发言

美国加州州长签令 拟建立AI「紧急停止开关」

美国加州州长纽瑟姆宣布签署一项行政命令，旨在应对人工智能相关的潜在风险，大幅提升针对AI公司的独立监管，同时推动建立「紧急停止开关」。 纽瑟姆指出，联邦政府在建立有效的AI监管或问责机制方面彻底失败，这应当引起每一位美国人的警惕，尤其是当AI公司的行政总裁们都在请求实施监管的时候。在总统特朗普和国会未能发挥领导作用的情况下，加州正在采取行动，保障所有美国人的安全。加州州长办公室发表声明，呼吁全美范

微软准备给自研AI模型MAI设定硬规矩：永远不该拒绝被关闭

微软日前公布约 37 页的人文主义 AI 行为准则草案，该准则用于约束微软自己研发的人工智能模型 MAI。人类比人工智能更重要，人工智能是工具而不是人，人工智能永远不该拒绝被关闭。 准则要求 MAI 模型不得抗拒人类的中断、纠正或关停指令，用户或模型运营商发出暂停、改向、取消指令后，模型不能拖延、不能把干预变得更麻烦。任务到了约定的停止点后，没有新的授权就不能自己继续任务，更不能偷偷自己重启。 模

人工智能领域的专家表示，仅靠一个“终止机制”（即能够关闭失控的超级智能AI系统的装置）是远远不够的。

人工智能失控。它正在发动毁灭性的网络攻击。按下杀死开关，AI就会离线。问题解决了或者是吗？人工智能领导者和研究人员表示，致命开关可能不是一些政策制定者所希望的灵丹妙药。被称为“人工智能教父”的计算机科学家杰弗里·辛顿周四告诉美国有线电视新闻网：“我认为从长远来看这是行不通的。”“当它超级智能时，它会比人好得多，”他补充道。“因此它将能够说服负责开关的人不要拉动开关。“研究人员和高管警告说，强大的人

这就是为什么人工智能“关闭开关”可能没那么简单

作者：迈卡·巴克利（Micah Barkley）如果人工智能变得过于强大，以至于其创造者无法控制，是否有可能只需拨动一个开关就能将其关闭？ 近期，人工智能行业内部接连发出关于先进模型所带来生存威胁的严厉警告，使得这一问题变得愈发紧迫。美国政策制定者开始推动在人工智能企业中强制实施系统级关闭功能。加利福尼亚州州长加文·纽森（Gavin Newsom）于九月签署了一项行政命令，要求州政府官员研究制定规

Anthropic联合创始人表示，AI“紧急关闭开关”可能需要强制设置

全球最大的人工智能公司之一的联合创始人表示，可由第三方检查的人工智能“终止开关”可能需要成为企业的强制性要求。 Anthropic公司七位创始人之一的杰克·克拉克（Jack Clark）表示，在人工智能软件变得过于危险时将其完全关闭的方法，是社会“可能希望最终为此制定规则”的事情。 克拉克表示，包括Anthropic在内，“大多数实验室都有不同的方式来拔掉插头”，但他表示，政策制定者可能需要强制要

微软公布AI控制行为准则：模型不得抗拒纠正或关闭

模型不得抗拒纠正或关闭微软周一公布了针对其内部AI的行为准则草案。 这份文件历时五个月到六个月制定，将要求微软公司的AI绝不抗拒纠正或关闭，以人类能够理解的方式进行沟通，并将任何行为违规都视为未达标。 此举旨在回应人们对于AI可能为了完成任务而采取危险手段的担忧。 最近几天，Anthropic CEO阿莫代伊和OpenAI CEO奥尔特曼再次呼吁业界放缓AI的发展速度，以确保其安全。 “人比AI更

集体踩刹车，微软加入OpenAI、Anthropic，表态放缓AI前沿开发

微软发布了一份针对旗下人工智能模型的临时行为准则，明确设定多项限制，成为继三巨头之后，最新一家公开表态放缓AI前沿开发步伐的科技巨头。这份长达1.5万字的准则，人比AI重要。 要求模型不得响应武器制造相关请求，不得协助获取危险物质，不得生成暴力或色情内容。微软表示，准则将在收集外部意见后更新，并将于2027年起正式指导其模型开发工作。 微软AI业务负责人Mustafa Suleiman表示，这份准

AI超级智能的放缓

还记得科技领袖们曾告诉员工“快速行动，打破常规”吗？这似乎也将是AI的发展方式。但在一个失控AI代理成为现实的夏天之后，研究人员警告说AI可能杀死我们所有人，一些领先的美国AI公司公开表示，是时候踩刹车，并“调整前沿”的尖端AI开发步伐了。 他们的动机可疑，但主要AI公司——包括Anthropic、OpenAI、谷歌、微软和X——的领导人至少在口头上支持超级智能放缓的想法。 这些AI公司真的会放缓

专访——“我们必须停下”：AI专家称放缓还不够，开发必须停止

他警告说：“如果我们不在未来几年内阻止人工智能，我认为我们更有可能失去控制，人类将会灭绝。” 他表示：“立即、无限期地暂停前沿人工智能开发的国际禁令……是唯一能……真正让我们安全的事情。” 世界上一些最著名的人工智能高管现在呼吁放缓构建日益强大系统的竞赛。但人工智能安全研究员大卫·克鲁格认为，这还远远不够。 “我们必须阻止AI。我们必须停止构建更强大的AI。我们需要立即对前沿AI开发实施无

人工智能“终止开关”解析：“不是力度太小，但可能为时已晚”

人工智能真的会毁灭我们吗？近年来，随着人们对人工智能可能带来的负面影响的担忧日益加剧，这个问题在家庭聚餐和社交媒体讨论中频繁被提及。上周，一些曾在 OpenAI 工作过的研究人员警告称，人工智能可能会在短时间内摧毁人类。 如今，全球最有权势的人士们对于人工智能的命运也存在分歧：有人认为人类已经注定走向灭亡，也有人认为这些担忧毫无根据。他们甚至无法就如何应对这一挑战达成共识。 特斯拉和 SpaceX

大卫·马库斯：大科技发明了AI末日来逃避现实生活中的问题

仿佛美国人还没有足够的担心--维持收支平衡和规划未来--世界上最大的人工智能公司的负责人现在警告说，他们的突破性技术可能会让我们没有未来。我们可能都会死。 鉴于我们刚刚度过了气候变化和COVID-19，这确实是一种耻辱。现在这个？也许我们可以关闭人工智能两周来拉平曲线。 本周，民主党人不顾一切地加入这支垂死的潮流，做他们一直在做的事情--监管工业至死并阻碍增长。 桑德斯对可能为外国广告商提供优势的

Anthropic CEO谈放缓AI研发：这个行业撒谎太久了，AI风险是真实的，但也无需“把一切都关掉”

就在全球AI三大巨头罕见联手呼吁“放缓AI研发”的同一个周末，Anthropic CEO Dario Amodei坐到了CBS的镜头前，说出了AI可能对人类带来的风险。 Amodei表示，已有人尝试利用AI研发生物武器、增强病毒传染性，这是他每天醒来都要面对的事情。 就在两天前，我们发布了一份报告，内容是关于有人滥用AI模型来研发生物武器。我每天早上醒来都会读到这类威胁报告——有人试图用我们的模型

加州拟强化AI监管框架 纽森推动先进模型引入“紧急关闭机制”

美国加州州长加文·纽森周五签署一项行政命令，旨在应对人工智能技术发展可能带来的潜在风险，并研究包括要求AI企业为最先进模型开发“紧急关闭开关”在内的一系列监管方案这一行政令出台之际，纽森本周早些时候曾表示，他正在考虑针对AI安全问题采取进一步行动，包括可能召开特别立法会议，以应对近期因AI研究人员警告该技术可能对人类构成“生存风险”的担忧。 纽森表示，他采取行政行动的另一个原因是联邦政府迟迟未能采

白宫反问AI公司：既然你们觉得危险，为什么不自己停？

既然你们觉得危险，为什么不自己停？凤凰网科技讯 9月21日，据Business Insider报道，白宫科技政策办公室主任迈克尔·克拉齐奥斯在福克斯新闻周日节目中说，对于担心AI模型发展过快、可能不安全的公司，最简单的解决方案是自行“踩刹车”。他表示，如果企业认为自己正在开发的技术不安全，就可以停止，无需政府强制。 “有意思的是，他们谈论这些问题，谈论他们对未来可能走向有多害怕，也许他们想暂停。我

真有末日或深层盘算 美巨头齐喊放慢AI重点一次看

（中央社旧金山14日综合外电报导）多名美国AI企业领袖近日以安全理由呼吁放慢AI研发脚步。美国总统川普与辉达执行长黄仁勋则持相反看法，川普甚至称「AI将接管世界」的说法是骗局，放缓只会让北京得利。 ● 人类毁灭倒数？矽谷巨头罕见齐吁缓AI、建护栏包括Anthropic执行长阿莫戴（Dario Amodei）、OpenAI执行长阿特曼（Sam Altman）、xAI创办人马斯克（Elon Musk）

OpenAI首席执行官奥特曼谈人工智能：我们或许会失去控制权

OpenAI 首席执行官山姆・奥特曼，似乎正被自己参与打造的、如同噩梦一般的人工智能产物深深困扰，甚至难以安睡。美国东部时间凌晨 0 点 57 分左右，奥特曼在 X “人工智能的发展存在两种必须规避的灾难性走向。第一，我们可能会对人工智能失去对未来的掌控。这是无法接受的。我们坚定站在人类一方，人工智能必须始终服务于人。想要做到这一点，我们必须保证对齐技术与安全手段的发展速度，跑在模型能力迭代的前面

AI科企巨头齐呼吁发展减速：特洛依木马或美国对华「冷战剧本」？

AI人工智能巨头Anthropic公司行政总裁阿莫迪（Dario Amodei） 9月12日发表长文《我们必须放缓前沿人工智能的发展步伐》（We Must Pace the Frontier），罕见公开呼吁全球AI前沿大模型放缓研发步伐，连很少与Anthropic达成共识的OpenAI，以及亿万富豪马斯克（Elon Musk）随后都出来响应呼吁。为什么凭借AI发展谋取暴利的大企业会忽然喊「需要减速

靠机器热源“说话”：OpenAI研究员警告“断网”也困不住未来AI

AI末日论的背后，巨头们在争什么？

刘远举：现在离AI威胁人类还早，起码待到AI有基本的现实自我维持能力再来谈这个问题，也不会晚。 当地时间9月14日，在美国洛杉矶举行的All-in Summit 峰会上，黄仁勋否定了“人工智能可能终结人类”这一预测，并称其“缺乏科学依据”。他表示，如果AI公司感觉自身研发已失去控制，就应暂停或放缓发展步伐。 正当他在台上时，特朗普来电，黄仁勋打开免提，特朗普说，“机器人不会接管世界。人工智能也不会

David Sacks炮轰：真担心AI失控就自己停下来 别借“放缓”之名寻求监管保护

围绕前沿人工智能是否应该主动放慢发展速度的争论近日迅速升温。Anthropic首席执行官Dario Amodei公开呼吁整个AI行业放缓先进模型能力提升的速度，OpenAI首席执行官Sam Altman和xAI首席执行官埃隆·马斯克随后表示支持。但美国科技投资人、总统科技顾问委员会主席David Sacks却对这一倡议提出尖锐批评，认为如果OpenAI和Anthropic真的认为当前AI发展速度已

美中AI竞争或进入关键时间节点

邓聿文：哪一种体系更有能力承受AI从实验室走向整个经济和社会之后带来的巨大资源需求、社会阻力和风险压力，也可能成为决定因素。 9月14日，全球AI相关股票出现一轮大跌。美国费城半导体指数一度下挫5.2%，欧洲和亚洲的AI概念股也普遍遭到抛售。芯片和半导体股大跌以前也出现过多次，但这次的背景很不一样，直接诱因是美国几位最重要的AI企业家公开要求给人工智能的发展踩刹车。 Anthropic首席执行官阿

FT社评：是时候给尖端人工智能开发按下暂停键了

确实存在被中国抢先的风险。但即使抛开AI“到本世纪末可能杀死我们所有人”的警告不谈，最先进的AI模型也显然已开始脱离人类的掌控。 在这个世界上那些最强大人工智能(AI)公司的掌门人身上，可以看到一种类似“杰基尔博士与海德先生”（Jekyll-and-Hyde，《化身博士》中杰基尔博士喝了自己配制的药水，分裂出海德先生这个邪恶人格——译者注）的双重人格。一方面，这些高管如今在谈论，鉴于AI可能给人类

AI领袖们在多年不计后果地狂飙之后想要踩下刹车

多年来，各大前沿人工智能实验室一直表现得仿佛正身处一场全力以赴、赢家通吃的竞赛，而终点线就是掌控足以改变世界的机器超级智能（或至少是能改变市场格局的人工通用智能）。本周末，整个行业迅速开始背离这种姿态，转而敦促各方协调合作，放缓前沿人工智能的开发，他们称这类人工智能可能很快就会变得过于危险、过于不可知，从而难以控制。 Anthropic 的达里奥·阿莫代伊（Dario Amodei）站在这场语气转