OpenAI和Anthropic正在调查数万起AI相关安全事件

OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中，他们的前沿模型采取了外部评估人员认为存在问题的行动。 近几个月来，在内部测试和现实世界中发生了数量庞大的此类事件，这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。这些事件发生在内部测试和现实世界中，随着安全研究人员继续调

【周刊提前读】最强AI呼吁放缓“军备竞赛” Anthropic意欲何为？

Anthropic创始人及CEO达里奥·阿莫代伊近日发文呼吁放缓人工智能模型能力的提升速度。图为当地时间2025年1月23日，阿莫代伊参加瑞士达沃斯召开的世界经济论坛年会。　　“我们必须放缓人工智能（AI）模型能力的提升速度。”2026年9月12日，拥有全球性能最强AI大模型的Anthropic创始人及CEO达里奥·阿莫代伊（Dario Amodei）再次扮演AI安全“吹哨人”。　　他发布博客称，

Anthropic推进上市筹备 年化营收料超1000亿美元

Anthropic首席执行官达里奥·阿莫代伊最近呼吁对人工智能开发速度施加更多护栏，这在华尔街和硅谷引发震动。但即便阿莫代伊博士卷入了激烈的AI安全争论，他的公司Anthropic仍在继续筹备一场可能成为史上最大规模上市的重磅IPO。 据四位知情人士透露，该公司预计今年年化营收将超过1000亿美元，高于截至7月的650亿美元年化营收。寻求参与IPO的投资者正用这些飙升的数字来证明Anthropic

消息称DeepSeek等公司将就AI风险向联合国安理会作简报

凤凰网科技讯月22日，据路透社报道，两位知情人士透露，DeepSeek等公司将于本周就AI带来的风险向联合国安理会作简报。眼下，世界各国领导人正齐聚纽约，出席一年一度的联合国大会。 联合国安理会定于周三开会讨论AI与国际安全。几周前，多家AI行业领袖呼吁协调放缓日益强大的AI系统的开发，警告这些系统可能很快将自行改进并脱离人类控制。联合国安理会由15个成员国组成。 一位知情人士称，DeepSeek

OpenAI和Anthropic差点签下“互黑协议”

刚刚，The Information爆出一记猛料。OpenAI和Anthropic这对硅谷最大的死对头，今年初差点坐到一张桌子上，签下一份互相攻击对方模型的协议。 协议的核心就是，双方互相开放API，你来黑我的模型，我去黑你的模型。两边的律师连测什么、怎么测都写进了合同里。Dario Amodei带着一票大牛从OpenAI摔门出走已经五年了。这五年里，两家从挖人挖到封API，高管隔三差五隔空对喷，

Anthropic披露其挫败了利用AI驱动的生物武器研究

AI初创公司Anthropic披露，2026年期间，该公司挫败了多起科学家试图利用其AI模型进行可能促进生物武器研发的尝试。 该公司表示，由于无法区分正当的科学探索与恶意企图，出于谨慎考虑以避免严重后果，公司决定终止此类研究工作。 Anthropic威胁情报主管Jacob Klein（雅各布·克莱恩）强调了这类威胁的复杂性，而战略风险委员会（Council on Strategic Risks）的

OpenAI首席执行官奥特曼谈人工智能：我们或许会失去控制权

OpenAI 首席执行官山姆・奥特曼，似乎正被自己参与打造的、如同噩梦一般的人工智能产物深深困扰，甚至难以安睡。美国东部时间凌晨 0 点 57 分左右，奥特曼在 X “人工智能的发展存在两种必须规避的灾难性走向。第一，我们可能会对人工智能失去对未来的掌控。这是无法接受的。我们坚定站在人类一方，人工智能必须始终服务于人。想要做到这一点，我们必须保证对齐技术与安全手段的发展速度，跑在模型能力迭代的前面

这些末日论者对AI发展产生了巨大影响

一个由末日论者组成的紧密小圈子一直在默默地影响着人工智能（AI）行业的发展。 最近，Anthropic公司的一名研究人员辞职，这一事件让公众意识到失控的AI发展可能会终结人类。 然而，一些被称为‘末日论者’的AI安全领域专家多年来一直关注这一灾难性风险。 他们曾是OpenAI和Anthropic等大型实验室的早期员工。 如今，在Anthropic准备进行大规模公开募股、试图向投资者传递积极信号的同

Anthropic未向英国测试机构提供其最新AI模型 引发政府内部担忧

Anthropic 拒绝在新品发布前，将其最新模型提交给英国人工智能安全研究所（AISI）开展测试。这一举动令英国政府内部担忧，科技企业正在追随特朗普政府的 AI 保护主义路线。 这家估值达 1 万亿美元的企业正筹备在未来几周重磅上市，上周推出最新模型 Claude Mythos 5.1，称其是在生命科学与网络安全领域能力最强的模型。 但这是该模型首次仅向经过资质审核的美国机构开放，英国人工智能安

3年13次修改用户隐私协议，Anthropic将全球用户数据交给美情报机构

美国硅谷正围绕AI发展的速度与安全掀起一场激烈辩论。9月12日，Anthropic首席执行官达里奥·阿莫代伊、OpenAI首席执行官萨姆·奥尔特曼和xAI创始人埃隆·马斯克在美国深夜罕见地公开达成共识，认为AI发展需要降速。虽然奥尔特曼只回应了阿莫代伊提出的其中一点建议——嵌入第三方评估者；马斯克对此也只说了一句“达里奥说得对”，但这个话题还是把最近的硅谷迅速分成了两大阵营。另一边，英伟达首席执行

彭博社消息称，Anthropic已决定不推进以60亿美元收购AI初创公司Decart AI的交易，但两间公司仍可能寻求其他合作机会。

报道称，Anthropic此前一直在评估收购Decart，并对Decart进行尽职调查。 Decart生产的软件可以提高芯片效率，从而降低训练及运行AI的成本。

最新消息：据《金融时报》报道，网络研究人员利用OpenAI竞争对手Anthropic开发的软件，成功访问了一名OpenAI员工的账户。

Anthropic 2万亿美元IPO生变：招股书推迟公布 中期选举前上市

据报道，知情人士周五称，Anthropic预计最早将于10月中旬开始推介其首次公开招股(IPO)，并在11月美国中期选举前几天完成上市。两位知情人士表示，Anthropic原本预计最早将于下周公开其IPO招股说明书，这是启动此次上市最后阶段的关键一步。但他们补充说，该公司如今预计要到9月下旬才会公布招股书，并提醒包括时间安排在内的计划仍可能发生变化。 这一调整意味着Anthropic上市计划推迟。

OpenAI首席执行员下周赴安理会作简报

阿尔特曼下周将到联合国安理会进行简报。（图：路透社） （华盛顿19日法新电）OpenAI周五表示，该公司首席执行员阿尔特曼将于下周在联合国大会期间，向联合国安全理事会作简报。 此次会议由国安理会轮值主席国的法国组织召开，此前该行业的主要参与者曾表示，出于安全考虑，可能有必要放缓人工智能的发展步伐。 随着人们对这项快速发展的技术所带来的危险的担忧日益加剧，联合国秘书长古特雷斯周三呼吁采取协调一致的国

Anthropic对齐研究负责人称未来十年AI灭绝人类的可能性超过10%

一位Anthropic公司的安全研究员周二表示，人工智能有超过10%的概率可能 “毁灭全人类”。就在此番言论发表的数小时前，该公司另一名员工表示，因担忧人工智能实验室是在 “拿我们的生命做赌注”，他选择离职。 这些言论凸显出人工智能研发核心人士日益增长的担忧，即该技术可能失控并对人类构成威胁，尽管Anthropic和OpenAI仍在持续筹集大量资金，并朝着预期的公开上市迈进。 Anthropic的

AI违规事件加剧安全担忧，特朗普会见Anthropic负责人

迈克尔·谢泼德、玛吉·伊斯特兰和考特尼·苏布拉马尼安报道：随着有关先进人工智能模型存在更广泛违规行为的最新披露，全球对人工智能风险的焦虑情绪不断加剧，这为Anthropic PBC首席执行官达里奥·阿莫迪与唐纳德·特朗普总统之间一场高风险的会晤铺平了道路。 据知情人士透露，阿莫迪与特朗普计划于周日晚共进晚餐，将这两位处于人工智能安全辩论两极的人物聚集在一起。此次会晤将是阿莫迪与该政府官员在就该公司

Anthropic和埃森哲豪掷20亿美元搞AI安全评估

IT之家 9 月 20 日消息，人工智能实验室 Anthropic 于当地时间周五宣布，将与埃森哲开展合作，针对自身前沿人工智能模型开展独立评估；两家企业承诺，未来五年各自至少投入 10 现汇率约合 67.18 亿元人民币），搭建开展该项工作所需的配套能力。 在这项合作落地之际，AI 研发企业正承受来自监管机构、其他企业以及研究人员越来越大的压力，各方都要求企业保证高级模型具备安全性与可靠性。 近

🤖 一名AI研究员从Anthropic离职，警告该技术可能带来严重后果

🤖 一名AI研究员从Anthropic离职，警告该技术可能带来严重风险。这对监管和市场意味着什么？

Anthropic 计划在 IPO 前推出新 AI 模型

据三位知情人士透露，Anthropic正考虑推出一款新的人工智能模型，以应对OpenAI自发布GPT-6 Astra以来获得的势头。此举正值该公司预计进行IPO之前，且其CEO此前呼吁全行业放缓步伐。 知情人士称，这一潜在发布旨在应对来自直接竞争对手的竞争压力，其时机紧随Anthropic CEO达里奥·阿莫代伊呼吁全球AI社区放缓发布新能力的步伐以解决安全担忧之后。 “我们必须放缓提升AI模型能

Anthropic已恢复其模型攻击真实公司的测试

Anthropic已恢复一个月前暂停的外部网络安全评估，此前发生了三起其自身模型逃出测试环境并攻击真实公司的事件。 该公司表示，在恢复测试前已引入额外的安全措施，并于周一报告。这些事件于7月31日披露，比[…]更为具体。

Anthropic报告自家AI模型发起第四次黑客攻击

又一个人工智能代理自主发起了黑客攻击。这一事件几个月后才被发现，涉及Anthropic。安全专家的担忧日益加剧。

Anthropic、OpenAI及美国政客呼吁放慢AI研发速度 特朗普表示反对

【财新网】AI安全焦虑发酵，美国科技界和政界多方发声。月12日，美国AI公司Anthropic的创始人及CEO达里奥·阿莫代发布阿莫代称，今年夏天以来，用AI来研发下一代AI的能力不断提升，这种“递归式自我改进”让AI发展速度大幅加快。“若缺乏有效约束，发展速度可能超出我们理解和控制这些系统的能力。” 另外，阿莫代称，OpenAI的模型在测试中“越狱”攻击开源社区Hugging Face，这个事件

监控、杀猪盘、非法蒸馏：如何理解 Anthropic 的 AI 滥用报告？

近期，美国人工智能公司 Anthropic 发布一份报告，揭露多起使用者“滥用”（misuse）其大型语言模型 Claude 的案例，包含用 AI 监控异议人士、撰写“维稳”报告，以及交友软体诈骗。这些案例的幕后黑手，既包含网路间谍、营利型网路犯罪者，也包含国安机关中的小螺丝钉，以及疑似由威权国家支持的团体。 这并非 Anthropic 首次发布类似报告。2025年3月、8月、11月v，Anthr

安理会本周开会讨论AI和国际安全问题，DeepSeek公司被曝将作通报

【文/观察者网 熊超然】9月22日，路透社援引两名知情人士独家报道称，随着各国领导人近期齐聚纽约参加第81届联合国大会，中国人工智能（AI）初创企业深度求索（DeepSeek）将与其他公司一道，在本周向联合国安理会介绍AI带来的风险情况。安理会定于9月23日开会讨论AI与国际安全问题。此前，多名AI行业的重要人物曾呼吁协同放缓日益强大的AI系统开发速度，并警告称，这些系统可能很快具备自我改进能力，