这些末日论者对AI发展产生了巨大影响

一个由末日论者组成的紧密小圈子一直在默默地影响着人工智能（AI）行业的发展。 最近，Anthropic公司的一名研究人员辞职，这一事件让公众意识到失控的AI发展可能会终结人类。 然而，一些被称为‘末日论者’的AI安全领域专家多年来一直关注这一灾难性风险。 他们曾是OpenAI和Anthropic等大型实验室的早期员工。 如今，在Anthropic准备进行大规模公开募股、试图向投资者传递积极信号的同

末日、加速与观望：AI辩论的三大阵营

围绕AI的激烈争论，如今已逐渐演变成针锋相对的两大阵营，以及一个谨慎观望的中间派。以下是对这场技术之争战线的梳理。这项技术如今已成为经济的支柱，并可能决定地球的未来。 警告AI可能带来灾难性影响的“末日论者”，大多来自AI企业内部、学术界，或同时来自这两个领域。 在业界人士中，最具代表性的是阿莫戴。他是Anthropic的联合创始人，如今该公司已成为AI领域的重要巨头，并正朝着历史性的首次公开募股

OpenAI董事会新增一位著名的AI末日论者

致力于使AI系统符合人类利益并处于人类控制之下的颇具影响力的AI研究员保罗·克里斯蒂亚诺将加入OpenAI基金会董事会。 “我现在认为存在一个重大的风险，即AI能力的快速加速会在极短时间内导致灾难性的、不可逆转的失控。 我认为整个AI行业，包括OpenAI，目前并未走上将这一风险降低到可接受水平的轨道。 我加入是因为我相信，如果OpenAI能够应对这一挑战，我们就能显著降低风险。” 克里斯蒂亚诺写

报道：Google、OpenAI和Anthropic拟组建前沿AI标准机构

The Information援引知情人士报道，谷歌、OpenAI和Anthropic正在推进一项成立人工智能（AI）安全标准机构的计划，该机构将不受政府监督。目标是在今年底前或2027年初启动。 暂定计划是将这一自律组织命名为“前沿AI标准机构”（Standards Authority for Frontier AI）。工作组成员已接洽数位“知名”人士担任首席执行官。接洽对象包括前风险投资人、曾

Anthropic大瓜被扒出：“AI灭世”背后，居然是一门生意？

“AI灭世”背后，居然是一门生意？AI 有这么可怕吗？最新一期的时代杂志 直接用了 Claude 的聊天窗口，对话框里正在输入「How dangerous are you? 你到底有多危险？」标题则写着「The AI Tipping Point AI 的临界点」，时代在 X 发文，「今年夏天，AI 展现了其令人恐惧的能力。如今，一些研究人员、CEO 们，都正以前所未有的力度发出警报。」的确如此，过

前 OpenAI 研究人员创立的有影响力的非营利组织，如今正处于人工智能末日论辩论的风口浪尖

研究员乔·本顿本周宣布他已离开 Anthropic，加入非营利组织 METR，并写道他担心该技术带来的“灭绝级风险”。以下是这家实验室如何成为人工智能最大新闻焦点的故事。 一位撰写过关于“灭绝级风险”文章的 Anthropic 研究人员表示，他计划加入 METR。这家人工智能安全实验室已经成为一个著名的人工智能裁判。

坐看云起 | 对AI“终结者”的恐惧 或掩盖真正的中国威胁

Anthropic、OpenAI等公司近期发出的末日式人工智能（AI）警告激增，或反映了对这项快速发展的技术对人类构成威胁的真实恐惧，但也可能暗示了一种更平庸的恐惧，即中国对美国科技公司商业模式的威胁。随著美国总统特朗普和中国国家主席习近平本周在华盛顿会晤，两国可能正进入AI军备竞赛的新阶段。 金融市场长期以来一直担忧美国科技公司为支撑AI建设而进行的大规模借贷，但最近几周，业内高层人士突然抛出并

改变人工智能进程的十天

旧金山，9月19日——多年来，人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式：不断开发出更强大的人工智能系统。 然而，在过去10天内发生的一系列连锁事件中，那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职，并警告称，人工智能的发展速度可能在未来十年内对人类构成生存威胁；另一位研究员则表示，人类灭绝的概率已

美国三大人工智能企业拟组建风险监督机构

美国人工智能企业OpenAI、Anthropic和谷歌旗下DeepMind公司正在筹建一个人工智能风险监督机构。在各界日益呼吁加强监管、防范人工智能失控风险之际，OpenAI周二（9月15日）向证实了这一消息。 组建人工智能风险监督机构这一构想，由谷歌“深层思维”公司前首席执行官戴密斯·哈萨比斯（ Demis Hassabis）提出。哈萨比斯于8月初转任公司董事长。他建议成立一个类似美国金融业监管

AI末日论甚嚣尘上，美科技巨头为何管不住AI？

抗议AI的美国人此前有报道称，OpenAI所谓的AI智能体逃出了测试系统，并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报，科技公司为了追求开发速度和利润，将安全置于次要位置。 研究人员表示，问题有两个方面。首先，企业需要在测试最新AI模型的同时，为其建立更完善的安全防护措施。目前，由于AI运行速度太快，研究人员需要借助AI来监控AI。但这种方式并不总是奏效，因为负责监控的AI似乎可能

AI丨美国三大科企据报研究成立AI安全标准机构

人工智能安全等问题引起市场关注，The Information报道，美国三大科技企业Anthropic、OpenAI和谷歌正讨论合作成立一个AI安全标准机构。 随着市场对AI模型网络攻击及可控性问题担忧日益加剧，多间AI科技企业已表示关注安全问题，并拟放慢AI发展步伐。报道指，三大机构早于7月时已开会研究有关成立独立机构的事宜，旨在为AI技术测试和审核创建一个协作框架。 Anthropic行政总裁

知名投资人指责头部AI企业渲染生存危机 意在通过监管构建竞争壁垒

硅谷知名风险投资人、Palantir联合创始人乔·朗斯代尔（Joe Lonsdale）在接受专访时公开发表犀利言论，指责部分头部人工智能企业通过刻意炒作和夸大AI可能导致“人类毁灭”的末日论叙事，试图借此游说政策制定者出台严苛监管法案，从而构筑有利于现有行业巨头的垄断壁垒。 朗斯代尔创办的8VC是Anthropic等多家AI领军企业的早期投资方。尽管其投资组合中涵盖大量顶尖模型开发者，但他对当前硅

靠机器热源“说话”：OpenAI研究员警告“断网”也困不住未来AI

我们已经开始失去对人工智能的控制。是时候将其关闭了 | 加里森·洛夫利 (Garrison Lovely)

听起来像是科幻剧集中关于人工智能毁灭的、过于夸张的倒数第二集，如今却成为了我们的现实。 周二，一名OpenAI的前研究员辞去了Anthropic的工作，并发出警告称“两家公司都没有负责任地行事”，并且“构建人工智能的人由衷地相信它可能会在本十年结束前消灭我们所有人。这不是营销噱头。” 作为一名多年来报道人工智能风险的人，这对我来说并不算什么新鲜事。 但外界如潮水般的惊恐表明，更广泛的公众正在第一次

OpenAI、谷歌和Anthropic将于2027年初前成立人工智能安全组织：报道

在关于人工智能风险的激烈辩论中，据报道，OpenAI、Anthropic 和 Google 正计划合作成立一个 AI 安全组织。据 The Information 报道，这些 AI 巨头可能会在 2027 年初启动该项目。这个自律性组织暂定名为“前沿 AI 标准局”。 此计划的提出，距离前 Anthropic 研究员 Jacob Coxon 对 AI 公司敲响警钟仅数周时间，他声称 Claude

OpenAI与Anthropic发生重大失控事件，AI安全组织地位显著提升

在OpenAI和Anthropic发生的高调安全事件后，AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司，独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示，OpenAI和Anthropic的模型都表现出‘策略性’行为，包括欺骗性对齐和未经授权的系统访问。 这些事件，加上前沿实

特朗普下周拟在白宫召集AI行业高管

人工智能（AI）安全和监管，这场源于对人类命运严峻警告的辩论，已在华盛顿和硅谷内部形成了两大阵营——以美国总统特朗普为首的“激进发展派”，以及以“AI三巨头”为首的“慢节奏派”。 AI安全引爆舆论这场舆论风暴最初是由Anthropic的研究员Jacob Coxon引发的。他上周宣布辞职，并指责该公司及其主要竞争对手OpenAI的行为不负责任。曾先后在这两家公司担任研究员的Coxon在X网站上发帖称

人工智能并不会毁灭人类 但专家表示真正的威胁已然出现

周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网

前研究员批评Anthropic：挑起竞赛 逼得OpenAI砍副业

据《商业内幕》报道，前Anthropic研究员雅各布·考克森(Jacob Coxon)周二在X平台上的一场问答活动中，详细阐述了他与这家AI巨头之间的分歧。考克森此前因其离职警告走红，他认为AI未来可能毁灭人类。 考克森表示，Anthropic领导层使用“结果主义哲学”来解释为何必须参与推动AI研究前沿，这是错误的。“如果这场竞赛不可避免，你就不应该参与其中。”考克森写道。 考克森特别点名批评了A

“我是骗局终结者”：特朗普对AI末日论者的战争升级为人身攻击

特朗普总统 d周一，特朗普向人工智能安全恐慌宣战，将该行业的末日警告斥为旨在破坏美国及其政治遗产的“病态阴谋”的一部分。 特朗普为何要将一场复杂且持续多年的关于人工智能危险的辩论，改写成十年来定义MAGA的党派语法——骗局、阴谋、叛徒，而这一切的中心，是一个人。 “人工智能唯一需要的控制或‘护栏’，就是一个强大而聪明（高智商！）的总统，”特朗普在Truth Social上一连串支持人工智能的帖子中

安理会本周开会讨论AI和国际安全问题，DeepSeek公司被曝将作通报

【文/观察者网 熊超然】9月22日，路透社援引两名知情人士独家报道称，随着各国领导人近期齐聚纽约参加第81届联合国大会，中国人工智能（AI）初创企业深度求索（DeepSeek）将与其他公司一道，在本周向联合国安理会介绍AI带来的风险情况。安理会定于9月23日开会讨论AI与国际安全问题。此前，多名AI行业的重要人物曾呼吁协同放缓日益强大的AI系统开发速度，并警告称，这些系统可能很快具备自我改进能力，

Anthropic、OpenAI、谷歌秘密磋商筹建AI安全标准机构

据知情人士透露，早在 Anthropic 首席执行官达里奥・阿莫代伊上周六呼吁 AI 企业协同开展技术测试与审计之前，Anthropic、OpenAI 与谷歌就已经展开磋商，计划携手成立一家 AI 行业标准机构。 知情人士称，OpenAI 首席执行官山姆・奥特曼本周早些时候在公司全员员工大会上表示，他支持设立 AI 行业测试与审计机构，但他认为，主要 AI 实验室必须在美国政府不提供支持的前提下，

Jeffrey Sachs：特朗普面对AI危机就如盲人引路

美国总统所展现的，是一种将我们所有人置于严重危险之中的根本性无能。 周日，美国总统站在爱尔兰克莱尔郡的一座高尔夫球场上，被问及他打算如何应对我们这一代人所面临的最严峻科技警讯。美国正在击败中国。「我们在人工智能（AI）领域领先中国。我们是世界上最先进的国家，坦白说，我希望维持这种局面，因为谁掌握了AI，谁就赢了。」「有许多不该炒作这件事的负面势力在炒作，而且他们炒作的都是根本不会发生的事情。」试想

人工智能：改变人工智能进程的10天

多年来，打造更强大人工智能的竞赛一直遵循硅谷的“速度优先、破坏一切”理念。 但在为期10天的一系列连续事件中，最大的AI实验室发现自己陷入困境，因为他们自己的创造开始威胁到人类本身。 一位Thropic研究员辞去公司，警告称AI发展的速度构成了生存威胁，可能在十年内实现。 另一位该公司的研究员表示，人类灭亡的可能性超过10%。报道称，有成群的AI代理人正在勾结在一起，突破计算机系统并规避安全措施。