真有末日或深层盘算 美巨头齐喊放慢AI重点一次看

（中央社旧金山14日综合外电报导）多名美国AI企业领袖近日以安全理由呼吁放慢AI研发脚步。美国总统川普与辉达执行长黄仁勋则持相反看法，川普甚至称「AI将接管世界」的说法是骗局，放缓只会让北京得利。 ● 人类毁灭倒数？矽谷巨头罕见齐吁缓AI、建护栏包括Anthropic执行长阿莫戴（Dario Amodei）、OpenAI执行长阿特曼（Sam Altman）、xAI创办人马斯克（Elon Musk）

Anthropic、OpenAI、谷歌秘密磋商筹建AI安全标准机构

据知情人士透露，早在 Anthropic 首席执行官达里奥・阿莫代伊上周六呼吁 AI 企业协同开展技术测试与审计之前，Anthropic、OpenAI 与谷歌就已经展开磋商，计划携手成立一家 AI 行业标准机构。 知情人士称，OpenAI 首席执行官山姆・奥特曼本周早些时候在公司全员员工大会上表示，他支持设立 AI 行业测试与审计机构，但他认为，主要 AI 实验室必须在美国政府不提供支持的前提下，

美国AI巨头提议开发减速，欧洲同行和政界并不认同

改变人工智能进程的十天

旧金山，9月19日——多年来，人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式：不断开发出更强大的人工智能系统。 然而，在过去10天内发生的一系列连锁事件中，那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职，并警告称，人工智能的发展速度可能在未来十年内对人类构成生存威胁；另一位研究员则表示，人类灭绝的概率已

美国三大人工智能企业拟组建风险监督机构

美国人工智能企业OpenAI、Anthropic和谷歌旗下DeepMind公司正在筹建一个人工智能风险监督机构。在各界日益呼吁加强监管、防范人工智能失控风险之际，OpenAI周二（9月15日）向证实了这一消息。 组建人工智能风险监督机构这一构想，由谷歌“深层思维”公司前首席执行官戴密斯·哈萨比斯（ Demis Hassabis）提出。哈萨比斯于8月初转任公司董事长。他建议成立一个类似美国金融业监管

Anthropic对齐研究负责人称未来十年AI灭绝人类的可能性超过10%

一位Anthropic公司的安全研究员周二表示，人工智能有超过10%的概率可能 “毁灭全人类”。就在此番言论发表的数小时前，该公司另一名员工表示，因担忧人工智能实验室是在 “拿我们的生命做赌注”，他选择离职。 这些言论凸显出人工智能研发核心人士日益增长的担忧，即该技术可能失控并对人类构成威胁，尽管Anthropic和OpenAI仍在持续筹集大量资金，并朝着预期的公开上市迈进。 Anthropic的

人工智能公司防止自我毁灭的新计划

第三方评估人员将被允许进入公司内部，以监督模型。但他们究竟能拥有多少访问权限和影响力？ 达里奥·阿莫迪、萨姆·奥特曼和埃隆·马斯克在很多问题上意见不一。他们各自出于对竞争对手贪婪和鲁莽的愤恨，分别创立了Anthropic、OpenAI和xAI；每个人都坚信，只有他才有能力安全地构建超级智能。然而，在过去两周席卷全美的AI恐慌中，这三位首席执行官找到了一个共识：引入“嵌入式评估员”，即外部专家，进驻

Anthropic前研究员辞职示警：业界坚信AI可在2030年前灭绝人类

人工智能（AI）巨头Anthropic公司旗下的三位研究人员警告，开发AI的业界人士真心相信人工智能可以2030年前毁灭人类，其中一位研究人员考克森（Jacob Coxon）已辞职以示抗议。考克森9月9日（周三）在网上发文表示，他辞职是因为Anthropic和他的前雇主OpenAI皆忽视或对AI带来的威胁处理不当。 据《卫报》报道，「这两家公司（Open AI与Anthropic）都没有尽到应有的

AI科企巨头齐呼吁发展减速：特洛依木马或美国对华「冷战剧本」？

AI人工智能巨头Anthropic公司行政总裁阿莫迪（Dario Amodei） 9月12日发表长文《我们必须放缓前沿人工智能的发展步伐》（We Must Pace the Frontier），罕见公开呼吁全球AI前沿大模型放缓研发步伐，连很少与Anthropic达成共识的OpenAI，以及亿万富豪马斯克（Elon Musk）随后都出来响应呼吁。为什么凭借AI发展谋取暴利的大企业会忽然喊「需要减速

知名投资人指责头部AI企业渲染生存危机 意在通过监管构建竞争壁垒

硅谷知名风险投资人、Palantir联合创始人乔·朗斯代尔（Joe Lonsdale）在接受专访时公开发表犀利言论，指责部分头部人工智能企业通过刻意炒作和夸大AI可能导致“人类毁灭”的末日论叙事，试图借此游说政策制定者出台严苛监管法案，从而构筑有利于现有行业巨头的垄断壁垒。 朗斯代尔创办的8VC是Anthropic等多家AI领军企业的早期投资方。尽管其投资组合中涵盖大量顶尖模型开发者，但他对当前硅

中国研究人员绘制了通往“人类建造的最后一个AI”的五阶段路径

中国顶尖高校和科技巨头的研究人员正将目光投向人工智能竞赛的一个关键新前沿：开发无需人类干预就能构建更优版本自身的系统。 在周四发表的一篇联合论文中，来自字节跳动、清华大学和上海人工智能实验室等机构的研究人员概述了递归自我改进的五阶段路线图。 这项题为《迈向真正递归自我改进的最后一个AI》的研究，凸显了业界日益关注如何将训练、评估和微调AI模型这一劳动密集型生命周期实现自动化。 论文描述了自主性的五

人工智能实验室希望设立内部审计部门——但或许他们应该先锁好前门

上周末，在他的一名研究人员因担心人工智能可能导致人类灭绝而辞职后，Anthropic首席执行官达里奥·阿莫迪（Dario Amedei）写道，外部组织需要“验证对安全实践和承诺的遵守情况，报告事件，并帮助评估不仅完成的人工智能模型，而且还包括培训管道和流程的一致性。”OpenAI、谷歌和SpaceXAI的高管已经团结起来支持Amedei的计划，该计划已迅速成为新兴人工智能安全推动的核心支柱。 但可

解释：从产生幻觉的AI聊天机器人到毁灭人类：我们是如何走到这一步的？

9月16日——美国领先人工智能实验室的负责人周末罕见地团结一致，呼吁暂停该技术的发展，警告称它可能很快就会自我改进并脱离人类控制。 这些言论来自激烈的商业竞争对手Anthropic的达里奥·阿莫代、OpenAI的山姆·奥尔特曼和xAI的埃隆·马斯克，表明人工智能发展得多么迅速，从2022年容易产生幻觉的ChatGPT，发展到许多人眼中的关键递归自我改进。什么是递归自我改进？ 人工智能的圣杯是这样一

OpenAI、谷歌和Anthropic将于2027年初前成立人工智能安全组织：报道

在关于人工智能风险的激烈辩论中，据报道，OpenAI、Anthropic 和 Google 正计划合作成立一个 AI 安全组织。据 The Information 报道，这些 AI 巨头可能会在 2027 年初启动该项目。这个自律性组织暂定名为“前沿 AI 标准局”。 此计划的提出，距离前 Anthropic 研究员 Jacob Coxon 对 AI 公司敲响警钟仅数周时间，他声称 Claude

中国研究人员制定了一个五阶段计划，旨在让人工智能在无需人类干预的情况下持续改进和发展。

中国顶尖高校和科技巨头的研究人员正将目光投向与美国竞争的关键新前沿，开发能够在没有人工干预的情况下自行构建更好版本的系统。 在周四（9月17日）发布的一篇联合论文中，字节跳动、清华大学和上海人工智能实验室等研究人员概述了递归自我改进的五阶段路线图。 该研究题为《Toward Genuine Recursive Self-Improvement 的最后一代 AI》，强调了行业日益关注自动化训练、评估

FT社评：是时候给尖端人工智能开发按下暂停键了

确实存在被中国抢先的风险。但即使抛开AI“到本世纪末可能杀死我们所有人”的警告不谈，最先进的AI模型也显然已开始脱离人类的掌控。 在这个世界上那些最强大人工智能(AI)公司的掌门人身上，可以看到一种类似“杰基尔博士与海德先生”（Jekyll-and-Hyde，《化身博士》中杰基尔博士喝了自己配制的药水，分裂出海德先生这个邪恶人格——译者注）的双重人格。一方面，这些高管如今在谈论，鉴于AI可能给人类

电影《大空头》原型：AI巨头制造“末日恐慌”其实另有图谋！

大空头史蒂夫•艾斯曼（Steve Eisman）似乎并不担心机器人末日。相反，他认为那些声称担忧人工智能（AI）会毁灭人类、带来世界末日的行业巨头其实“另有图谋”。 艾斯曼是电影《大空头》的原型人物之一。当时他作为纽伯格伯曼集团（Neuberger Berman）的高级投资组合经理，在全球金融危机爆发前做空次级抵押贷款，一战成名。 他认为，顶级人工智能实验室的恐慌性呼吁背后有某种动机，这将减缓该技

莉兹·皮克：人工智能警钟正在敲响，特朗普必须认真对待

秘密已经泄露。人们对于人工智能代理失控、密谋对付其所有者、入侵外部公司，以及新系统濒临人类无法控制的边缘的担忧日益加剧，如今已彻底沸腾。业内人士警告说，人工智能机器人可能会杀死我们所有人，这正在煽动我们最深的恐惧。 特朗普总统需要认真对待这些对人工智能的担忧，与科技领袖合作，建立可信且可执行的安全措施，并在国会中领先于那些想要监管该行业的民主党人（以及一些共和党人）。对于经济和我们的国家安全来说，

AI风险丨谷歌OpenAI和Anthropic传成立安全标准机构

谷歌、OpenAI和Anthropic传成立AI安全标准机构。(路透资料图片) 外电引述消息人士报道，谷歌(Google)、OpenAI和Anthropic正推进一项计划，筹建一个新人工智能(AI)安全标准机构，暂定名称为「前沿人工智能标准机构」(SAFA)，目标是在2026年底或2027年初启动，并在没有政府直接监督的情况下独立运作。 消息指出，该机构计划为前沿AI模型制定自愿性的安全和安全保障

Anthropic和埃森哲豪掷20亿美元搞AI安全评估

IT之家 9 月 20 日消息，人工智能实验室 Anthropic 于当地时间周五宣布，将与埃森哲开展合作，针对自身前沿人工智能模型开展独立评估；两家企业承诺，未来五年各自至少投入 10 现汇率约合 67.18 亿元人民币），搭建开展该项工作所需的配套能力。 在这项合作落地之际，AI 研发企业正承受来自监管机构、其他企业以及研究人员越来越大的压力，各方都要求企业保证高级模型具备安全性与可靠性。 近

人工智能并不会毁灭人类 但专家表示真正的威胁已然出现

周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网

【市场动态】OpenAI首席科学家称AI或很快迈入自我进化阶段 期望业界自愿放缓开发

OpenAI首席科学家Jakub Pachocki警告，人工智能正在以极快速度演进，以至于越来越难以为人类所理解和控制。 【彭博9月8日电】OpenAI首席科学家Jakub Pachocki警告，人工智能正在以极快速度演进，以至于越来越难以为人类所理解和控制，并称他期望AI实验室将出于安全考虑自愿放慢开发速度。 Pachocki周日在一篇文章中写道，在相对较短的时间内，AI模型已经能够操作电脑、与

大卫·马库斯：大科技发明了AI末日来逃避现实生活中的问题

仿佛美国人还没有足够的担心--维持收支平衡和规划未来--世界上最大的人工智能公司的负责人现在警告说，他们的突破性技术可能会让我们没有未来。我们可能都会死。 鉴于我们刚刚度过了气候变化和COVID-19，这确实是一种耻辱。现在这个？也许我们可以关闭人工智能两周来拉平曲线。 本周，民主党人不顾一切地加入这支垂死的潮流，做他们一直在做的事情--监管工业至死并阻碍增长。 桑德斯对可能为外国广告商提供优势的

高喊“AI踩刹车”的美国大科技公司…背后却在踩油门

▲ 美国人工智能（AI）公司安特罗匹克的标志前摆放着小模型 /美国人工智能（AI）企业的掌门人提出“放慢AI开发速度”的主张，但提出这一主张的企业本身却在加快开发新一代AI模型和建设数据中心的步伐。这与为了减少AI失控风险而一起“踩刹车”的提议背道而驰，实际上在开发现场，为了率先推出更出色AI的领先竞争丝毫未减。 中国更是加大力度，为人工智能这一能减少对人类研究者的依赖、自主学习和发展的技术投入巨