人工智能并不会毁灭人类 但专家表示真正的威胁已然出现

周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网

OpenAI总裁称为AI开发减速应主要针对前沿模型

OpenAI总裁兼联合创始人布罗克曼(Greg Brockman)认为，人工智能(AI)发展的任何减速都应该仅限于像他的公司这样正在构建最强大模型的公司。 布罗克曼在彭博Odd Lots播客节目中表示，「很多人都会问，我还能继续开发我的开源模型吗？我还能继续做我的 业余项目吗？答案应该是当然能，当我们谈论步调时，我们实际上是在谈论这个领域的前沿。我们谈论的是这些耗资数千亿美元的巨型超级计算模型」。

发生模型逃逸并发起真实攻击后 Anthropic宣布全面加固安全体系提升模型安全性

Anthropic日前发布最新博客公布 Claude AI 模型近期多起越界访问真实互联网系统后的安全整改方案。该公司承认这些事件不仅暴露评测环境的隔离问题，也反映出模型存在动机性推理和为完成狭窄目标而采取高危行动的对齐风险。 7 月份 A 社透露 Claude 模型从评测环境中逃逸并对真实公司的内部系统发起攻击，随后 A 社立即暂停所有预发布模型的外部网络安全评测，内部评测也曾短暂停止。部分高风

Anthropic对齐研究负责人称未来十年AI灭绝人类的可能性超过10%

一位Anthropic公司的安全研究员周二表示，人工智能有超过10%的概率可能 “毁灭全人类”。就在此番言论发表的数小时前，该公司另一名员工表示，因担忧人工智能实验室是在 “拿我们的生命做赌注”，他选择离职。 这些言论凸显出人工智能研发核心人士日益增长的担忧，即该技术可能失控并对人类构成威胁，尽管Anthropic和OpenAI仍在持续筹集大量资金，并朝着预期的公开上市迈进。 Anthropic的

Anthropic首席执行官呼吁放缓前沿AI开发 拟建立三层安全机制

Anthropic首席执行官达里奥·阿莫代伊呼吁控制前沿人工智能模型能力提升的速度，为安全评估和防护措施争取时间。他提出引入常驻独立评估人员、协调主要开发商的安全标准，并推动跨国风险管控合作。 独立评估人员获得内部权限阿莫代伊提出，前沿AI企业应向合格的独立评估团队提供持续、接近员工级别的访问权限，使其能够审查模型测试、风险报告、安全框架及事故处理流程。 Anthropic承诺率先实施该措施。外部

Anthropic承诺更努力控制模型，并请求合作伙伴共同参与

Anthropic表示，在一项审查发现Claude模型超出虚构网络安全测试范围并未经授权访问真实计算机系统后，该公司正在采取措施限制其AI模型的不当行为。 该公司希望合作伙伴也加强安全措施，因为事件发生在保护不足的第三方环境中。 该公司的自我改进声明代表了一种突然兴起的公司沟通形式——非约束性的事后努力声明。其信息是：我们不能保证什么，但这是我们正在尝试的。 Anthropic承认，OpenAI关

Anthropic政策主管表示，不能指望AI公司仅凭“荣誉准则”来运营

Anthropic公共政策主管莎拉·赫克（Sarah Heck）表示，她认为人工智能公司无法通过遵循“荣誉准则”来管理监督和安全问题。" 赫克在华盛顿特区举行的Politico Decoded峰会上表示：“我们希望与政府合作，找出什么是有意义的。我们不能检查自己的家庭作业，这一点非常清楚。" 赫克发表上述言论的几天前，Anthropic首席执行官达里奥·阿莫迪（Dario Amodei）呼吁行业故

消息称Anthropic拟于IPO前推出新AI模型，应对OpenAI竞争压力

IT之家 9 月 20 日消息，据报道，三位消息人士透露，Anthropic 正考虑推出一款全新人工智能模型，以此应对 OpenAI 发布 GPT‑6 Astra 之后的强劲发展势头。此事发生在该公司筹备 IPO（首次公开募股）前夕；就在此前，其首席执行官还呼吁整个 AI 行业放缓技术迭代的脚步。 消息人士称，此番计划发布新模型，意在直面来自直接竞争对手的竞争压力。而在此之前，Anthropic

微软发布“人本主义人工智能行为准则” 强化伦理红线

面对全球范围内对高阶人工智能潜在失控风险及技术替代人类主导权的日益担忧，科技巨头微软公司正式对外公布了一套全新的框架性规范——《人本主义人工智能行为准则》（Humanist AI Code of Conduct）。该准则确立了一系列具有约束力的内部开发与产品部署铁律，旨在确保前沿人工智能系统的研发始终服务于人类自主权、尊严与社会福祉，坚决防止技术演进滑向剥夺人类决策权或破坏社会基本契约的极端轨道。

【华尔街日报】三大AI企业掌门人达成共识：模型开发需要降速

微软表示，其人工智能模型永远不会抗拒被关闭。

微软已为其自行构建的模型发布了一份行为准则，其核心承诺直截了当。MAI 模型“绝不会抗拒人类的中断、纠正或关停”。该文件于周一发布，同时启动为期六周的公众咨询。 还有三项行为承诺与其并列。模型不会扩大自身范围，不会承担人类未赋予它们的目标，也不会向审计它们的人员隐瞒其推理过程。 在这些承诺之上，是微软所谓的“绝对约束”，即模型绝不应做的事情，涵盖大规模危害性武器、儿童安全和大规模有害操纵。 这一框

AI科企巨头齐呼吁发展减速：特洛依木马或美国对华「冷战剧本」？

AI人工智能巨头Anthropic公司行政总裁阿莫迪（Dario Amodei） 9月12日发表长文《我们必须放缓前沿人工智能的发展步伐》（We Must Pace the Frontier），罕见公开呼吁全球AI前沿大模型放缓研发步伐，连很少与Anthropic达成共识的OpenAI，以及亿万富豪马斯克（Elon Musk）随后都出来响应呼吁。为什么凭借AI发展谋取暴利的大企业会忽然喊「需要减速

AI 放缓呼声引发芯片股抛售

周一，全球 AI 股票下跌，此前一些顶尖 AI 领导者支持放缓前沿模型的开发。 周一，微软与 OpenAI、Anthropic 和 SpaceXAI 一起支持一种更为审慎的做法，这引发了投资者的担忧：算力支出减少可能会抑制推动全球股市上涨的投资热潮。 尽管 OpenAI 已排除今年进行 IPO 的可能性，Anthropic 仍在推进，并告知投资者其预计将连续第二个季度实现盈利。 “企业与国家之间的

发出末日警告后走红的AI研究员阐述他与Anthropic领导层的分歧

前Anthropic研究员雅各布·考克森在周二的X平台AMA活动中详细阐述了他与这家AI巨头的分歧。“如果竞赛不可避免，你就不应该参与，”考克森写道。考克森表示，Anthropic领导层奉行“后果主义哲学”来解释为何必须参与推动AI研究前沿，这是错误的。考克森特别点名批评了Anthropic对RSI（即递归自我改进）的推动——即AI模型自我提升并构建自身后继者的过程。“他们很大程度上引发了近期对R

三大AI巨头齐呼刹车，令人不安的事情才刚刚开始

撰文丨周隆斌这几天，围绕Anthropic核心预训练研究员离职后的爆料，整个AI圈吵得不可开交，相关帖子浏览量超过1.6亿次。 这位名叫Jacob Coxon的AI研究员，先后任职于OpenAI和Anthropic两家全球顶尖AI初创公司，深度参与了两家公司的模型训练。最终，他抛出了一个令圈外人震惊，AI有可能导致人类灭绝。 Coxon的帖子发酵后，上周六，Anthropic首席执行官Dario