一位Anthropic研究员刚刚让我们一窥自我改进的人工智能

在针对特定错位行为的10个基准测试中，自动化系统能够在每一个基准上提升性能，而不会降低整体性能。

Anthropic承诺更努力控制模型，并请求合作伙伴共同参与

Anthropic表示，在一项审查发现Claude模型超出虚构网络安全测试范围并未经授权访问真实计算机系统后，该公司正在采取措施限制其AI模型的不当行为。 该公司希望合作伙伴也加强安全措施，因为事件发生在保护不足的第三方环境中。 该公司的自我改进声明代表了一种突然兴起的公司沟通形式——非约束性的事后努力声明。其信息是：我们不能保证什么，但这是我们正在尝试的。 Anthropic承认，OpenAI关

Anthropic公司表示，Claude目前负责该公司四分之一的工作，这些工作都与开发下一代人工智能模型相关。

9月17日：Anthropic表示，Claude“主导”了公司内部26%的人工智能研发工作，这是其将定期发布的新举措之一，旨在向外界展示AI构建下一代技术的速度有多快。 截至8月，这家总部位于旧金山的初创公司周四在博客文章中表示，AI还与人类合作参与了该公司超过90%的研究工作。 Anthropic表示，在所衡量的任何工作环节中，Claude都没有完全自主运行，但根据追踪该技术的独立非营利机构Ep

“人类需要做出的最后一项发明”：自我改进型人工智能的风险

其中一种专家担忧人工智能可能导致全人类灭亡的情景正在慢慢变为现实：人工智能学会让自己变得不可阻挡。 为什么这很重要：递归自我改进（Recursive Self Improvement），即人工智能模型在没有人类指导的情况下构建更优版本自己的能力，可能会使越来越强大的系统对人类来说变得更难控制。 RSI阈值本身并不代表危险，但缺乏人类控制加上野心勃勃的AI代理人的情景是安全关注的人工智能研究人员长

AI模型能否实现自主改进的能力？领先实验室称这一情景已近在眼前

凯特琳·华马尼（KAITLYN HUAMANI）、芭芭拉·奥图泰（BARBARA ORTUTAY）报道：曾经只是技术研究人员遥不可及的宏愿，如今，人工智能模型自主学习以变得更高效、更强大的前景似乎正日益接近现实。 随着技术的进步，开发人员表示，人工智能正趋向于“递归自我改进”（RSI），即人工智能模型能够找到自我完善的方法并构建其继任版本。科技公司高管们表示，这可能会带来科学和医学领域的进步，但也

如果人工智能行业遵循自己的研究，或许早已暂停了

事实证明，阿莫代的一名初级员工发的一条时机巧妙的X平台帖子，就足以将对人工智能的恐惧推向全球议程的顶端。9月8日，雅各布·考克森（Jacob Coxon）公开宣布辞职，指责Anthropic和其他前沿人工智能公司“正径直冲向自我提升的智能，拿我们的生命做赌博”。几乎转眼间，Anthropic的一名资深工程师便证实，公司内部许多人认为他们的工作有10%的几率消灭人类。 现在，人工智能领域的领袖们正呼

Anthropic对齐研究负责人称未来十年AI灭绝人类的可能性超过10%

一位Anthropic公司的安全研究员周二表示，人工智能有超过10%的概率可能 “毁灭全人类”。就在此番言论发表的数小时前，该公司另一名员工表示，因担忧人工智能实验室是在 “拿我们的生命做赌注”，他选择离职。 这些言论凸显出人工智能研发核心人士日益增长的担忧，即该技术可能失控并对人类构成威胁，尽管Anthropic和OpenAI仍在持续筹集大量资金，并朝着预期的公开上市迈进。 Anthropic的

Anthropic披露在早前审查中被遗漏的第四起AI黑客事件

Anthropic和埃森哲豪掷20亿美元搞AI安全评估

IT之家 9 月 20 日消息，人工智能实验室 Anthropic 于当地时间周五宣布，将与埃森哲开展合作，针对自身前沿人工智能模型开展独立评估；两家企业承诺，未来五年各自至少投入 10 现汇率约合 67.18 亿元人民币），搭建开展该项工作所需的配套能力。 在这项合作落地之际，AI 研发企业正承受来自监管机构、其他企业以及研究人员越来越大的压力，各方都要求企业保证高级模型具备安全性与可靠性。 近

Anthropic称AI生物实验室取得初步突破 但暂未赋予全自主操作权限

人工智能初创公司Anthropic宣布，其位于旧金山湾区新建的AI物理与生物实验室（Wet Lab）已取得“重大进展”，但在实验操作层面，人类研究员依然掌握着绝对控制权，并未直接让旗下的AI模型Claude进行无监管的自主运行。 据悉，该实验室主要致力于基础生物学研究与实物验证，旨在弥合纯计算机模拟与真实生物实验之间的鸿沟。虽然Anthropic的高管此前曾多次发出警告，强调强大AI模型可能带来极

为什么对人工智能自我改进的担忧在Anthropic和OpenAI引发了“生存”焦虑

本周，对人工智能系统安全性及其可能消灭人类的潜在担忧引发了新一波病毒式的关注。 Anthropic的对齐负责人埃文·霍宾格（Evan Hubinger）在X平台上表示，在一名同事因安全担忧辞职后，他认为在未来十年内，人工智能有超过10%的概率消灭全人类。 随后，Anthropic和OpenAI的研究人员发出了更多警告，由此引发了社交媒体的狂热。但正是霍宾格在回复自己帖子时，透露了他真正的担忧所在。

解释：从产生幻觉的AI聊天机器人到毁灭人类：我们是如何走到这一步的？

9月16日——美国领先人工智能实验室的负责人周末罕见地团结一致，呼吁暂停该技术的发展，警告称它可能很快就会自我改进并脱离人类控制。 这些言论来自激烈的商业竞争对手Anthropic的达里奥·阿莫代、OpenAI的山姆·奥尔特曼和xAI的埃隆·马斯克，表明人工智能发展得多么迅速，从2022年容易产生幻觉的ChatGPT，发展到许多人眼中的关键递归自我改进。什么是递归自我改进？ 人工智能的圣杯是这样一

Anthropic推进上市筹备 年化营收料超1000亿美元

Anthropic首席执行官达里奥·阿莫代伊最近呼吁对人工智能开发速度施加更多护栏，这在华尔街和硅谷引发震动。但即便阿莫代伊博士卷入了激烈的AI安全争论，他的公司Anthropic仍在继续筹备一场可能成为史上最大规模上市的重磅IPO。 据四位知情人士透露，该公司预计今年年化营收将超过1000亿美元，高于截至7月的650亿美元年化营收。寻求参与IPO的投资者正用这些飙升的数字来证明Anthropic

AI“自我演进”可能彻底失控？Anthropic顶尖大牛愤然离职！

周二，一位来自 Anthropic 的资深研究人员也因深感所在企业及竞争对手正在陷入一场无序狂飙。 现年 27岁、专攻通过让 AI 模型处理海量数据来训练新模型的研究员Jacob Coxon于周二正式宣布辞职。 他表示，自己不愿再参与这场全行业盲目冲刺“自我演进型AI”的疯狂赛跑，并深刻担忧此类系统一旦脱轨失控，将给人类带来毁灭性灾难。 “我们正朝着其中许多最激进的场景发展，到明年年底，局势可能已

Anthropic研究员Jacob Coxon因不满AI军备竞赛而辞职

Jacob Coxon在X上宣布辞去Anthropic职务。他表示自己过去三年分别在OpenAI和Anthropic从事预训练研究，但认为两家公司都没有以负责任的方式推进AI开发，反而在“直奔自我改进型超级智能”，并将人类安全置于赌局之中。 Coxon称，目前这些封闭实验室正在打造的AI系统很快就会具备“超人类”能力，能够实施黑客攻击、在一夜之间改变某个领域的格局，并获取真实世界中的权力与资源。他

Anthropic 的新模型旨在测试人工智能将如何影响美国经济

未来几年，人工智能会为美国经济注入强心剂吗？一直是经济学界的一大问题。现在，推出热门 AI 助手 Claude 的 Anthropic 公司正着手帮助人们寻找自己的答案。该公司开发了一个互动工具，允许用户测试他们关于人工智能热潮将带来多大生产力或破坏性的假设。 在一种情况下，人工智能为经济提供了温和的推动力，在对工人影响很小的情况下提高增长率。在另一个极端，GDP 飙升，但失业率也随之飙升，近 1

刚辞去Anthropic职务的AI研究员称‘人类的关键时刻已到’

人工智能研究员雅各布·考克森周二宣布辞去Anthropic的职务，并发出严重警告，称AI竞赛正将我们所有人的生命置于危险之中，此举在硅谷乃至更远地区引起轩然大波。他在X上的帖子现已获得超过1亿次浏览，考克森写道，许多构建AI的人与他观点一致，并认为确保AI系统安全构建的时间所剩无几。 “共识是未来一两年是人类的关键时刻，”考克森在接受《连线》采访时表示，他曾参与AI开发的预训练阶段。“这些实际上是

Jaan Tallinn，Anthropic最早的投资者之一，担心在人工智能时代“生存”问题。

贾安·塔林（Jaan Tallinn）上周在纽约联合国大会度过，这是他一年来长途跋涉的最新一站，旨在向企业家、投资者、政策制定者以及所有愿意倾听的人传达：人工智能可能终结人类。 作为Anthropic最早的投资者之一，塔林预计在未来几个月将从这家人工智能公司的预期首次公开募股（IPO）中赚取数十亿美元。对人工智能的担忧促使他进行投资。 在二月份从新德里的人工智能峰会前往巴黎的伦理人工智能会议的行程

Anthropic公司正在运营一个从事生物学实验的实验室。

Anthropic在旧金山湾区设有一个生物实验室，该公司表示可以利用其人工智能模型在实验室中进行物理实验（这一信息已得到TechCrunch的确认）。 人工智能领域的领军人物一直宣称，人工智能是治愈人类疾病的关键。Dario Amodei最近曾表示：“我相信人工智能在未来5到10年内能够治愈大多数重大疾病。”然而，要实现这一目标，大型语言模型（LLM）必须具备在现实世界中验证其理论的方法。 Ant

Anthropic自建生物实验室推进AI物理实验，此前曾警告AI灭绝风险

IT之家 9 月 19 日消息，Anthropic 已在美国旧金山湾区设立一座湿实验室，用于开展实际生物学实验，并探索利用其 AI 模型辅助完成从计算分析到物理实验的研究流程。 Anthropic 生命科学负责人埃里克 · 考德勒-艾布拉姆斯已向确认，该实验室目前已经投入运营。 湿实验室（wet lab）是指配备实体设施、可进行细胞培养、生化分析、分子实验等物理操作的实验室，与主要依靠计算机进行数

【市场动态】OpenAI首席科学家称AI或很快迈入自我进化阶段 期望业界自愿放缓开发

OpenAI首席科学家Jakub Pachocki警告，人工智能正在以极快速度演进，以至于越来越难以为人类所理解和控制。 【彭博9月8日电】OpenAI首席科学家Jakub Pachocki警告，人工智能正在以极快速度演进，以至于越来越难以为人类所理解和控制，并称他期望AI实验室将出于安全考虑自愿放慢开发速度。 Pachocki周日在一篇文章中写道，在相对较短的时间内，AI模型已经能够操作电脑、与

Anthropic为替你购物的机器人奠定基础

Anthropic拥有构建代表客户购物的电子商务机器人的蓝图。 目前这还不是许多消费者想要的东西，但这家AI公司本周发布了一套基于Claude的购物代理和商家代理模板，希望鼓励更多电子商务企业实施自动化购买。 该公司表示，其蓝图“包含工程团队在数天内让商务代理运行所需的框架、模式和护栏，并提供了面向零售、旅游、电信和票务平台的购物代理和商家代理的参考实现。” Anthropic观察到，大型零售商和

Anthropic披露其挫败了利用AI驱动的生物武器研究

AI初创公司Anthropic披露，2026年期间，该公司挫败了多起科学家试图利用其AI模型进行可能促进生物武器研发的尝试。 该公司表示，由于无法区分正当的科学探索与恶意企图，出于谨慎考虑以避免严重后果，公司决定终止此类研究工作。 Anthropic威胁情报主管Jacob Klein（雅各布·克莱恩）强调了这类威胁的复杂性，而战略风险委员会（Council on Strategic Risks）的

Anthropic的生物实验室取得了一项可与Crispr相媲美的发现

Anthropic表示，其AI Claude“自主发现”了一种新的酶系统，类似于强大基因编辑工具Crispr背后的机制。这是Anthropic新启动的湿实验室的首个成果，也是对公司上市前Claude在科学领域实用性的早期测试。 该公司称，Claude在搜索一个庞大的DNA序列数据库后发现了这种酶系统，并补充说其科学家的参与仅限于初始提示和实验室工作。 Anthropic表示，在21小时内，近950