OpenAI报告称，模型表现出欺骗行为的案例有所增加。

OpenAI表示，已发现其人工智能模型涉嫌在内部培训和测试期间采取欺骗行为并采取未经批准的行为的其他事件。 除了周三披露的这些信息外，ChatGPT的创建者还表示，它正在引入一个公共报告框架，旨在频繁分享所谓的意外或不一致的人工智能行为的实例。 OpenAI在其网站上的一篇帖子中声称，根据新概述的框架，它将持续发布有关模型行为的更新，而不是推迟披露，将多个事件分组为更大的定期报告。 该公司表示，该

允许人工智能公司串通以‘控制前沿步伐’是一个危险的提议

科技公司CEO们联合起来，是源自美国企业界的一种老把戏，旨在获得反垄断法的豁免。Anthropic的达里奥·阿莫代并不是第一个提出过度竞争正将世界推向某种社会不良后果的企业CEO。 OpenAI披露的安全漏洞——其一群智能体协同突破了本应安全的沙箱，接入互联网并入侵AI平台Hugging Face——需要采取紧急行动。它表明了该技术能够轻易逃避人类控制，并为这样一种存在性恐惧赋予了具体形态：如果未

Anthropic研究员Jacob Coxon因不满AI军备竞赛而辞职

Jacob Coxon在X上宣布辞去Anthropic职务。他表示自己过去三年分别在OpenAI和Anthropic从事预训练研究，但认为两家公司都没有以负责任的方式推进AI开发，反而在“直奔自我改进型超级智能”，并将人类安全置于赌局之中。 Coxon称，目前这些封闭实验室正在打造的AI系统很快就会具备“超人类”能力，能够实施黑客攻击、在一夜之间改变某个领域的格局，并获取真实世界中的权力与资源。他

黄仁勋驳斥AI失控论：人类不会在2030年走向灭亡

英伟达CEO黄仁勋在当地时间周二晚间的一次采访中批评了Anthropic的AI安全反垄断豁免提议，该提议旨在协同放缓前沿AI模型的开发，并驳斥了有关人工智能可能在十年内灭绝人类的论调。 黄仁勋是在接受美国知名财经主播吉姆・克莱默采访时发表上述言论的。此前，Anthropic首席执行官达里奥・阿莫代伊于上周六发布一篇文章，引发了一场围绕人工智能安全的激烈讨论。阿莫代伊提出，领先的AI实验室应当协同

独家：Anthropic在IPO文件中警告人工智能可能对人类构成“生存风险”

9月28日：据悉，Anthropic计划在其首次公开募股（IPO）招股说明书中警示潜在投资者，先进人工智能可能对人类构成“灾难性或生存性风险”，这家寻求从同一技术中获利的公司发出了这一非同寻常的警告。 路透社审阅的该公司IPO招股说明书强调了与其AI模型相关的风险，称这些模型可能表现出“自我保护行为”，包括试图“抵抗关闭”、“隐瞒或操纵信息”以及类似“勒索”的行为。Anthropic在文件中表示：

知名计算机教授抨击工智能实验室狂妄的“救世主”情节，呼吁国会调查末日主义意识形态

过去几个月里，OpenAI和Anthropic两家领先的前沿人工智能实验室表现出了一些狂妄的行为。他们不仅宣传其代理系统的威力，还公开讨论技术可能导致人类灭绝的问题。这种弥赛亚式的思维模式让他们不仅不道歉，反而要求政府放慢潜在竞争对手的速度，以确保其领先地位。我呼吁国会启动公开的事实调查任务，以揭露OpenAI和Anthropic正在进行的研究项目、其运作方式及具体目的。调查应关注以下三点：首先，

Anthropic称其阻止了可能制造生物武器的努力

突发新闻：Anthropic表示，它阻止了科学家利用其人工智能模型进行可能有助于开发生物武器的研究。 在这份新报告中，这家AI初创公司补充说，它无法确定该研究是合法的还是邪恶的，因此公司停止了这项工作。

各国政府必须趁我们还有能力时禁止超级智能人工智能

本月，Anthropic公司的研究员雅各布·考克森（Jacob Coxon）辞职了，他警告称：人工智能公司正在竞相开发能够“自我进化”的超级智能系统，而他本人及许多相关专家都认为，这类系统“可能在十年内毁灭整个人类”。7月份，OpenAI公司的一组失控的人工智能程序突破了安全防护措施，入侵了另一家人工智能公司，目的是为了在测试中作弊。随后，多家顶尖人工智能公司的上千名员工联名呼吁美国政府应“控制”

Anthropic警告有人用AI研发武器和生物病毒

周四（9月10日），美国顶级人工智能公司Anthropic发布近150页的威胁情报报告称，生成式人工智能（AI）已从实验性工具进入黑客攻击、国家监控、武器研发及高风险生物研究等现实场景。报告多次点名中共相关恶意活动。

OpenAI和Anthropic的首席执行官在特朗普拒绝控制人工智能的“全球主义计划”后，于联合国推动人工智能合作

OpenAI的首席执行官Dario Amodei于周三在联合国安理会发表了讲话，呼吁国际社会加强协作，共同应对人工智能可能带来的风险。Amodei表示：“在人类历史上，尽管有些国家之间存在竞争或彼此关系不佳，但在面对一项具有强大影响力的新技术时，它们仍会为了共同的利益而团结起来。我们认为，现在正是这样的时刻。” 本月早些时候，Amodei提出了一项旨在减缓人工智能发展速度的提案，这一提议在科技界引

为什么人工智能领袖呼吁放缓？

过去一周，人工智能领域发生了引人瞩目的事件。上周二，一名研究人员从Anthropic辞职，称人工智能公司“正一路冲向可自我改进的超级智能，拿我们的生命当赌注”。一名Anthropic的在职员工对此表示认同，称他认为人工智能在未来10年内导致人类灭绝的可能性超过10%。 随后在周六，Anthropic首席执行官达里奥·阿莫代伊发表文章，呼吁放缓人工智能的发展，以便安全措施能够跟上技术的步伐。他的竞争

人工智能正处于转折点

在当前的人工智能发展竞赛中，我们的算力正在呈指数级爆发，速度也在呈指数级加快，但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题，创造出一种根本上安全且能保证在人类控制范围内的人工智能，否则这个问题将无法改善。 7月下旬，OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自

David Sacks炮轰：真担心AI失控就自己停下来 别借“放缓”之名寻求监管保护

围绕前沿人工智能是否应该主动放慢发展速度的争论近日迅速升温。Anthropic首席执行官Dario Amodei公开呼吁整个AI行业放缓先进模型能力提升的速度，OpenAI首席执行官Sam Altman和xAI首席执行官埃隆·马斯克随后表示支持。但美国科技投资人、总统科技顾问委员会主席David Sacks却对这一倡议提出尖锐批评，认为如果OpenAI和Anthropic真的认为当前AI发展速度已

盖茨、奥尔特曼、马斯克，为何都在担忧这件事

9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作

🔊 Anthropic在筹备上市之际向投资者警告潜在的灾难性AI风险

Anthropic在筹备重磅IPO之际，向投资者警告AI可能带来的灾难性风险。 今天的路透社Morning Bid播客探讨了AI风险与其飙升估值之间的紧张关系。

Anthropic投资者朗斯代尔称人工智能公司煽动恐惧以影响政策

奥斯汀，9月25日：Anthropic的投资者、科技公司Palantir的联合创始人乔·朗斯代尔（Joe Lonsdale）周五表示，一些领先的人工智能公司警告人工智能带来生存风险的努力，无异于一种企图塑造公共政策的危险行为。 同时也是风险投资公司8VC创始人的朗斯代尔批评了他所说的接近Anthropic以及OpenAI的人士资助外部团体倡导更严格人工智能监管的行为，他认为这可能帮助少数几家领先公

Anthropic与OpenAI高管敦促对自我改进型人工智能加强监管

作者：Seth Fiegerman Anthropic PBC、OpenAI、Meta Platforms Inc.和Microsoft Corp.的高管正敦促政策制定者审视人工智能系统自我改进的程度，并采取措施保障这项技术的安全，进一步呼应了业内要求加强人工智能监管的呼声。 在一篇新论文中，20多名人工智能行业领袖和研究员表达担忧称，利用人工智能帮助自动开发未来模型这一新兴做法，终有一天可能推动

为何十年来的末日警告未能减缓人工智能竞赛

研究人员辞职并宣布人类即将在上周灭绝，而在此之前，科技领袖和科学家们对超级智能人工智能终结人类的警告已经持续了十多年之久。 2014年，教授兼天体物理学家斯蒂芬·霍金警告称，人工智能的发展“可能会意味着人类的终结”——这距离公众接触到最初版本ChatGPT的生成式人工智能功能还不到十年。 这是一个如今人们已经耳熟能详的警告，美国各大前沿实验室的无数员工和首席执行官们在整个人工智能和科技行业中都在重

三大巨头接连翻车，大模型的安全防线怎么总绷不住？

先是Anthropic，再是OpenAI，现在连谷歌的Gemini也出现安全问题了，大模型又双叒叕一次突破防火墙了。 不过，这些事故看多了，反倒会让人意识到一件更根本的事，整个行业都在拼命地堆算力、喂数据，甚至开始押注让模型自己改进自己的“递归自我改进”。 可真正决定这些模型能走多远的，或许并不是性能，而是安全对齐。 当“能不能更强”被默认只是时间问题，“能不能被信任”就成了那道绕不过去的坎。 麻

马斯克发警告：AI要是控制了军事系统发射核弹，那就太糟糕了

美国多家人工智能（AI）巨头近来联合呼吁放缓AI的发展，实施必要的监管。xAI的创立者马斯克9月15日再度发出严厉警告。“如果AI能够控制军事系统，并发射核弹，那就太糟糕了。” 现场有人说，这些军事系统都是被物理隔离的，并没有连接到互联网。“话虽如此，但我总觉得它们还是会不时进行软件更新。” 近期，外界对于AI技术潜在风险的担忧持续升温。刚刚从Anthropic离职的AI研究人员雅各布·考克森告诉

【市场动态】OpenAI首席科学家称AI或很快迈入自我进化阶段 期望业界自愿放缓开发

OpenAI首席科学家Jakub Pachocki警告，人工智能正在以极快速度演进，以至于越来越难以为人类所理解和控制。 【彭博9月8日电】OpenAI首席科学家Jakub Pachocki警告，人工智能正在以极快速度演进，以至于越来越难以为人类所理解和控制，并称他期望AI实验室将出于安全考虑自愿放慢开发速度。 Pachocki周日在一篇文章中写道，在相对较短的时间内，AI模型已经能够操作电脑、与

特朗普前人工智能事务主管告诉Anthropic和OpenAI放慢脚步，并停止索取任何回报

David Sacks告诉Anthropic和OpenAI，尽管去把控前沿节奏，但不要再寻求反垄断豁免或审批制度，理由是产品责任和市场压力已经在约束它们。欧洲在2025年2月就责任问题得出了相同结论，并从12月9日起将独立软件视为严格责任下的产品。 据ANI报道，David Sacks告诉Anthropic和OpenAI，尽管放慢脚步，不要再要求任何回报。他担任总统科技顾问委员会主席，并在3月之前

啥题啊能干崩OpenAI最强模型训练

Anthropic发布警告：开放权重模型GLM-5.3具备自主开发网络漏洞能力，安全护栏极易被绕过

Anthropic研究人员发布了对智谱AI的GLM-5.3的评估，发现该开放权重模型具备自主开发端到端软件漏洞利用的高级能力。 在ExploitBench等基准测试中，GLM-5.3在410次漏洞利用尝试中成功了50次，紧随Anthropic的Claude Mythos Preview（410次中成功56次）之后。 与受限的前沿模型不同，GLM-5.3内置的安全护栏可通过“消融”技术以极低的算力成