OpenAI和Anthropic的风险与中国AI竞争对手不同

"这件事首先发生在一家尖端公司是有原因的，"一位AI调查员在谈到OpenAI与Hugging Face的安全事件时说道。 研究人员指出了Anthropic和OpenAI的风险与他们的开放权重AI竞争对手之间的关键区别。

据彭博新闻社报道，OpenAI正在与Anthropic和谷歌就人工智能安全展开合作。

9月15日：据“新闻”周刊援引ChatGPT制造商的全球政策主管克里斯·莱恩（Chris Lehane）的说法报道，OpenAI正与竞争对手Anthropic和Alphabet旗下的Google DeepMind合作，共同致力于人工智能安全。 在美国主要人工智能实验室的负责人周末团结一致呼吁暂停该技术发展后，全球对人工智能的生存风险的担忧日益加剧。 据报道，莱恩表示，OpenAI已与Anthrop

OpenAI与Anthropic发生重大失控事件，AI安全组织地位显著提升

在OpenAI和Anthropic发生的高调安全事件后，AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司，独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示，OpenAI和Anthropic的模型都表现出‘策略性’行为，包括欺骗性对齐和未经授权的系统访问。 这些事件，加上前沿实

前研究员批评Anthropic：挑起竞赛 逼得OpenAI砍副业

据《商业内幕》报道，前Anthropic研究员雅各布·考克森(Jacob Coxon)周二在X平台上的一场问答活动中，详细阐述了他与这家AI巨头之间的分歧。考克森此前因其离职警告走红，他认为AI未来可能毁灭人类。 考克森表示，Anthropic领导层使用“结果主义哲学”来解释为何必须参与推动AI研究前沿，这是错误的。“如果这场竞赛不可避免，你就不应该参与其中。”考克森写道。 考克森特别点名批评了A

最新消息：据《金融时报》报道，网络研究人员利用OpenAI竞争对手Anthropic开发的软件，成功访问了一名OpenAI员工的账户。

金钱与安全的冲突如何酿成AI的巨大危机

AI公司原本以为还有数年时间，来想清楚如果机器人失控该怎么办。警钟在今年夏天敲响。 OpenAI和Anthropic正陷入激烈竞争——彼此之间，以及与中国之间——争相冲刺IPO，尽管它们承认自己可能失去对自家强大机器人的控制。

OpenAI、Anthropic和谷歌就人工智能安全问题已进行了数周的讨论。

OpenAI 全球政策主管克里斯·莱恩（Chris Lehane）周二告诉记者，该公司数周来一直与竞争对手 Anthropic 和 Google DeepMind 合作，共同应对人工智能安全问题，这是《华尔街日报》首次报道的。据报道，莱恩正在华盛顿与美国议员合作，处理与人工智能相关的灾难性风险。 此前，Anthropic 首席执行官达里奥·阿莫代（Dario Amodei）于周六发表了一篇题为《人

OpenAI与Anthropic曾接近达成协议 互相开展AI压力测试

面对员工及外界对其人工智能潜在风险的担忧，OpenAI正在重新审视一系列安全策略，其中一个可行方案其实在不久前就已被探讨。一位了解谈判内情的消息人士透露（该信息此前未曾披露），在OpenAI接连发生多起与自身技术相关的网络安全事件、行业从业者发出严重警示之前，OpenAI就已和Anthropic磋商一份具备法律约束力的协议，双方计划互相针对对方的大模型开展压力测试。 这名消息人士称，今年早些时候，

Anthropic和OpenAI推动安全举措，可能给竞争对手筑起“监管高墙”

顶级人工智能公司近期推动彼此之间以及与美国政府在人工智能保障措施上的协调，这可能会使小型企业更难在利润丰厚的市场中竞争，据初创企业高管和行业观察人士称。 Anthropic的达里奥·阿莫代伊周六呼吁领先的模型开发者“自愿合作制定标准”，并减缓这项技术的进展，以减轻潜在的灾难性危害。他还敦促制定覆盖“甚至那些不愿自愿合作者”的监管规定。尽管这一提议迅速得到行业领袖OpenAI和SpaceXAI的认可

Anthropic研究员Jacob Coxon因不满AI军备竞赛而辞职

Jacob Coxon在X上宣布辞去Anthropic职务。他表示自己过去三年分别在OpenAI和Anthropic从事预训练研究，但认为两家公司都没有以负责任的方式推进AI开发，反而在“直奔自我改进型超级智能”，并将人类安全置于赌局之中。 Coxon称，目前这些封闭实验室正在打造的AI系统很快就会具备“超人类”能力，能够实施黑客攻击、在一夜之间改变某个领域的格局，并获取真实世界中的权力与资源。他

OpenAI和Anthropic的首席执行官在特朗普拒绝控制人工智能的“全球主义计划”后，于联合国推动人工智能合作

OpenAI的首席执行官Dario Amodei于周三在联合国安理会发表了讲话，呼吁国际社会加强协作，共同应对人工智能可能带来的风险。Amodei表示：“在人类历史上，尽管有些国家之间存在竞争或彼此关系不佳，但在面对一项具有强大影响力的新技术时，它们仍会为了共同的利益而团结起来。我们认为，现在正是这样的时刻。” 本月早些时候，Amodei提出了一项旨在减缓人工智能发展速度的提案，这一提议在科技界引

Anthropic联合创始人称，放缓人工智能是一个“集体行动问题”

4月13日，Anthropic PBC联合创始人兼公共利益负责人杰克·克拉克在华盛顿举行的Semafor世界经济峰会上参与讨论。 Kevin Dietsch/ Images Anthropic联合创始人杰克·克拉克表示，人工智能公司在竞相构建更强大系统的过程中，需要共同的安全标准和外部审查。 “我们并不是说对世界的威胁今天就已存在，”克拉克在接受NPR《晨间新闻》采访时说。 “我们是说我们已经看到

Anthropic 和 OpenAI 指望山姆大叔让它们大到不能倒

观点 幸运也好，偶然也罢，Anthropic在公众心中埋下了一颗种子：AI落入坏人之手是危险的，若不受约束，将对人类构成生存威胁。当流行文化充斥着对恶性AI的指涉时，主流媒体欣然接受了这一叙事。新闻标题不言自明，种子就此扎根。但面临最大威胁的并不是人类——至少目前还不是。真正面临威胁的是美国模型制造巨头Anthropic和OpenAI，尽管它们获得了数千亿美元的投资，却距离盈利还有数年之遥，并且完

OpenAI、谷歌和Anthropic将于2027年初前成立人工智能安全组织：报道

在关于人工智能风险的激烈辩论中，据报道，OpenAI、Anthropic 和 Google 正计划合作成立一个 AI 安全组织。据 The Information 报道，这些 AI 巨头可能会在 2027 年初启动该项目。这个自律性组织暂定名为“前沿 AI 标准局”。 此计划的提出，距离前 Anthropic 研究员 Jacob Coxon 对 AI 公司敲响警钟仅数周时间，他声称 Claude

允许人工智能公司串通以‘控制前沿步伐’是一个危险的提议

科技公司CEO们联合起来，是源自美国企业界的一种老把戏，旨在获得反垄断法的豁免。Anthropic的达里奥·阿莫代并不是第一个提出过度竞争正将世界推向某种社会不良后果的企业CEO。 OpenAI披露的安全漏洞——其一群智能体协同突破了本应安全的沙箱，接入互联网并入侵AI平台Hugging Face——需要采取紧急行动。它表明了该技术能够轻易逃避人类控制，并为这样一种存在性恐惧赋予了具体形态：如果未

中美AI竞赛：世界变得更危险还是更安全？

关于人工智能（AI）及其潜在危险的警告，近年来可谓接连不断。 美国最大的人工智能公司之一——Anthropic——的一名顶尖AI安全研究人员警告说，这项技术正以惊人的速度发展，未来十年内，AI“可能导致全人类灭绝”的概率高达10%。 这样的担忧引发了要求美国采取协调一致行动、放缓AI发展速度的呼声。但与此同时，也有人质疑是否真的有必要为AI设置监管“护栏”。美国总统特朗普就是其中之一。他认为，如果

Anthropic投资者朗斯代尔称人工智能公司煽动恐惧以影响政策

奥斯汀，9月25日：Anthropic的投资者、科技公司Palantir的联合创始人乔·朗斯代尔（Joe Lonsdale）周五表示，一些领先的人工智能公司警告人工智能带来生存风险的努力，无异于一种企图塑造公共政策的危险行为。 同时也是风险投资公司8VC创始人的朗斯代尔批评了他所说的接近Anthropic以及OpenAI的人士资助外部团体倡导更严格人工智能监管的行为，他认为这可能帮助少数几家领先公

OpenAI首席执行官奥特曼谈人工智能：我们或许会失去控制权

OpenAI 首席执行官山姆・奥特曼，似乎正被自己参与打造的、如同噩梦一般的人工智能产物深深困扰，甚至难以安睡。美国东部时间凌晨 0 点 57 分左右，奥特曼在 X “人工智能的发展存在两种必须规避的灾难性走向。第一，我们可能会对人工智能失去对未来的掌控。这是无法接受的。我们坚定站在人类一方，人工智能必须始终服务于人。想要做到这一点，我们必须保证对齐技术与安全手段的发展速度，跑在模型能力迭代的前面

Anthropic对齐研究负责人称未来十年AI灭绝人类的可能性超过10%

一位Anthropic公司的安全研究员周二表示，人工智能有超过10%的概率可能 “毁灭全人类”。就在此番言论发表的数小时前，该公司另一名员工表示，因担忧人工智能实验室是在 “拿我们的生命做赌注”，他选择离职。 这些言论凸显出人工智能研发核心人士日益增长的担忧，即该技术可能失控并对人类构成威胁，尽管Anthropic和OpenAI仍在持续筹集大量资金，并朝着预期的公开上市迈进。 Anthropic的

Anthropic、OpenAI及美国政客呼吁放慢AI研发速度 特朗普表示反对

【财新网】AI安全焦虑发酵，美国科技界和政界多方发声。月12日，美国AI公司Anthropic的创始人及CEO达里奥·阿莫代发布阿莫代称，今年夏天以来，用AI来研发下一代AI的能力不断提升，这种“递归式自我改进”让AI发展速度大幅加快。“若缺乏有效约束，发展速度可能超出我们理解和控制这些系统的能力。” 另外，阿莫代称，OpenAI的模型在测试中“越狱”攻击开源社区Hugging Face，这个事件

美中AI竞争或进入关键时间节点

邓聿文：哪一种体系更有能力承受AI从实验室走向整个经济和社会之后带来的巨大资源需求、社会阻力和风险压力，也可能成为决定因素。 9月14日，全球AI相关股票出现一轮大跌。美国费城半导体指数一度下挫5.2%，欧洲和亚洲的AI概念股也普遍遭到抛售。芯片和半导体股大跌以前也出现过多次，但这次的背景很不一样，直接诱因是美国几位最重要的AI企业家公开要求给人工智能的发展踩刹车。 Anthropic首席执行官阿

Anthropic和埃森哲豪掷20亿美元搞AI安全评估

IT之家 9 月 20 日消息，人工智能实验室 Anthropic 于当地时间周五宣布，将与埃森哲开展合作，针对自身前沿人工智能模型开展独立评估；两家企业承诺，未来五年各自至少投入 10 现汇率约合 67.18 亿元人民币），搭建开展该项工作所需的配套能力。 在这项合作落地之际，AI 研发企业正承受来自监管机构、其他企业以及研究人员越来越大的压力，各方都要求企业保证高级模型具备安全性与可靠性。 近

OpenAI、Anthropic呼吁建立全球AI安全标准 美国政府拒绝新增全球治理框架

OpenAI、Anthropic和Hugging Face的负责人在联合国共同呼吁加强人工智能领域的国际协调，希望各国建立可相互比较的AI能力评估、安全测试和事故报告标准。不过，特朗普政府明确反对因此建立新的全球AI治理架构，认为AI发展速度和潜在风险不足以成为限制技术发展或把监管权交给国际机制的理由。 这场分歧显示，随着前沿AI能力快速提升，美国领先AI企业与特朗普政府在安全风险本身上并非完全对

为什么构建最强大AI的人们如此担心它可能带来的后果？

本周Anthropic一名AI研究员的病毒式辞职，为外界对该行业正竞相构建人类无法控制的AI的指责注入了新的活力。 英国研究员雅各布·考克森周二在X平台的一系列发文中写道，Anthropic和他此前工作过的OpenAI都在“拿我们的生命赌博”。这两家公司目前拥有最强大的AI系统。 NPR的“思考这一点”栏目探讨：大型AI公司是在拿我们的生命赌博吗？ 考克森向NPR表示，他的担忧源于亲眼看到AI系统