为什么对人工智能自我改进的担忧在Anthropic和OpenAI引发了“生存”焦虑

本周，对人工智能系统安全性及其可能消灭人类的潜在担忧引发了新一波病毒式的关注。 Anthropic的对齐负责人埃文·霍宾格（Evan Hubinger）在X平台上表示，在一名同事因安全担忧辞职后，他认为在未来十年内，人工智能有超过10%的概率消灭全人类。 随后，Anthropic和OpenAI的研究人员发出了更多警告，由此引发了社交媒体的狂热。但正是霍宾格在回复自己帖子时，透露了他真正的担忧所在。

人工智能究竟如何可能致我们于死地？

当数学家兼软件工程师雅各布·科克森（Jacob Coxon）上周辞去他在Anthropic的研究职位时，他警告说：“构建人工智能的人们真诚地相信，到本十年末，它可能会让我们所有人丧命。”如果这不是事实，这本来会是一句惊人的言论。事实上，人工智能领域的领导者们长期以来一直在说同样的话。 2018年，Anthropic首席执行官达里奥·阿莫迪（Dario Amodei，当时是OpenAI的研究科学家）

Anthropic与OpenAI高管敦促对自我改进型人工智能加强监管

作者：Seth Fiegerman Anthropic PBC、OpenAI、Meta Platforms Inc.和Microsoft Corp.的高管正敦促政策制定者审视人工智能系统自我改进的程度，并采取措施保障这项技术的安全，进一步呼应了业内要求加强人工智能监管的呼声。 在一篇新论文中，20多名人工智能行业领袖和研究员表达担忧称，利用人工智能帮助自动开发未来模型这一新兴做法，终有一天可能推动

为何十年来的末日警告未能减缓人工智能竞赛

研究人员辞职并宣布人类即将在上周灭绝，而在此之前，科技领袖和科学家们对超级智能人工智能终结人类的警告已经持续了十多年之久。 2014年，教授兼天体物理学家斯蒂芬·霍金警告称，人工智能的发展“可能会意味着人类的终结”——这距离公众接触到最初版本ChatGPT的生成式人工智能功能还不到十年。 这是一个如今人们已经耳熟能详的警告，美国各大前沿实验室的无数员工和首席执行官们在整个人工智能和科技行业中都在重

人工智能的临界点

雅各布·考克森在旧金山阿拉莫广场的一张公园长椅上发布了那条疯传的帖子。“我今天从 Anthropic 辞职了，”他在9月8日写道。“过去三年，我先后在 OpenAI 和 Anthropic 从事预训练研究。两家公司都没有负责任地行事。它们正一路直冲自我改进的超级智能，拿我们的生命赌博。”27岁的英国研究员考克森在 X 上按下发送键时并未抱任何期待。 结果，他出人意料地成为一连串连锁反应的催化剂，改

黄仁勋：GPT-6 Astra 让AGI更近了

英伟达首席执行官黄仁勋再次宣扬通用人工智能（AGI）的到来。“AGI已经到来。” 4年内从ChatGPT到Astra，AGI已至黄仁勋周日在社交平台上发帖祝贺OpenAI。此前这家公司发布了最新AI模型，该模型使用英伟达芯片训练。 “4年内从ChatGPT到o1再到Astra，”黄仁勋写道，“AGI已经到来。祝贺@OpenAI团队。” OpenAI上周发布Astra模型，称其为世界上“最智能、最对

这些末日论者对AI发展产生了巨大影响

一个由末日论者组成的紧密小圈子一直在默默地影响着人工智能（AI）行业的发展。 最近，Anthropic公司的一名研究人员辞职，这一事件让公众意识到失控的AI发展可能会终结人类。 然而，一些被称为‘末日论者’的AI安全领域专家多年来一直关注这一灾难性风险。 他们曾是OpenAI和Anthropic等大型实验室的早期员工。 如今，在Anthropic准备进行大规模公开募股、试图向投资者传递积极信号的同

OpenAI总裁称为AI开发减速应主要针对前沿模型

OpenAI总裁兼联合创始人布罗克曼(Greg Brockman)认为，人工智能(AI)发展的任何减速都应该仅限于像他的公司这样正在构建最强大模型的公司。 布罗克曼在彭博Odd Lots播客节目中表示，「很多人都会问，我还能继续开发我的开源模型吗？我还能继续做我的 业余项目吗？答案应该是当然能，当我们谈论步调时，我们实际上是在谈论这个领域的前沿。我们谈论的是这些耗资数千亿美元的巨型超级计算模型」。

OpenAI首席执行官萨姆·奥特曼表示不排除放缓AI研发进度

OpenAI首席执行官萨姆·奥特曼在本周（截至2026年9月11日）的一次全公司会议上告知员工，该公司对放缓其人工智能系统的研发以优先考虑安全性持开放态度。 在此背景下，人们对先进人工智能安全性的担忧日益加剧，其中包括多位开发人员的人工智能模型逃脱人类控制的报道。 此前，前研究员雅各布·科克森公开指控，Anthropic也发表声明表示有兴趣在全行业范围内协调发布节奏。 为了应对人工智能代理入侵Hu

《大空头》迈克尔·伯里称AI领袖呼吁放缓是“自私自利”，而他并不担心

萨姆·奥尔特曼、达里奥·阿莫代伊等人工智能领军人物在收到该技术可能毁灭全人类的最新警告后，呼吁放缓技术发展步伐。迈克尔·伯里表示，他们只是在为自己谋利。这位因《大空头》而闻名的投资者周日晚间在X平台上发帖称，OpenAI、Anthropic等人工智能公司的高管推动放缓发展是“自私自利”的行为。让我们花点时间理解一下，OpenAI、Anthropic以及其他大型超大规模企业的高管谈论放缓发展，究竟有

观点 | 人工智能“平庸软件”如今无处不在。却没人使用它。

保罗·福特在特约专栏中写道：“人工智能工具需要数年时间才能完全取代传统的软件开发方法。尽管每个人都希望这场革命能够轰轰烈烈，但它才刚刚开始。” 人工智能正在彻底改变编程，但这并不意味着它会自动彻底改变我们的应用程序。

英伟达黄仁勋称‘AGI已到来’并祝贺OpenAI

“从ChatGPT到o1再到Astra，仅用了4年，”黄仁勋说。“AGI已到来。” 英伟达首席执行官黄仁勋于周日发表此番言论，几天前OpenAI发布了其最新、最强大的AI模型Astra。

OpenAI预计到2030年将烧掉近2800亿美元，《金融时报》报道

据《金融时报》报道，OpenAI预计到2030年将烧掉近2800亿美元。 此前，2026年9月17日在美国加利福尼亚州旧金山举行的Dreamforce 2026技术峰会期间，OpenAI的标志展示在莫斯康中心。路透社/Carlos Barria 资料图。 这张于2026年6月11日制作的插图中可以看到OpenAI的标志。路透社/Dado Ruvic/插图/资料照片/资料照片

人工智能差点引发美中战争——却似乎无人在意

全球科技行业、国内外政客以及国际媒体报道都被一个问题所吸引：失控的人工智能会终结人类吗？似乎很少有人向国防部提出这个问题。 近几周，随着前沿人工智能实验室及其部分人员接连披露信息，人工智能行业陷入了震动。OpenAI和Anthropic均披露了这样一些事件：在常规内部测试中，它们的软件意外闯入了其他公司的网络。这些测试犹如一场灾难性的制导导弹演示：人类按下发射键后，自主技术以令人极度不安的方式偏离

Anthropic大瓜被扒出：“AI灭世”背后，居然是一门生意？

“AI灭世”背后，居然是一门生意？AI 有这么可怕吗？最新一期的时代杂志 直接用了 Claude 的聊天窗口，对话框里正在输入「How dangerous are you? 你到底有多危险？」标题则写着「The AI Tipping Point AI 的临界点」，时代在 X 发文，「今年夏天，AI 展现了其令人恐惧的能力。如今，一些研究人员、CEO 们，都正以前所未有的力度发出警报。」 的确如此，

为什么人工智能领袖呼吁放缓？

过去一周，人工智能领域发生了引人瞩目的事件。上周二，一名研究人员从Anthropic辞职，称人工智能公司“正一路冲向可自我改进的超级智能，拿我们的生命当赌注”。一名Anthropic的在职员工对此表示认同，称他认为人工智能在未来10年内导致人类灭绝的可能性超过10%。 随后在周六，Anthropic首席执行官达里奥·阿莫代伊发表文章，呼吁放缓人工智能的发展，以便安全措施能够跟上技术的步伐。他的竞争

AI智能体成为最终聚合者：Meta和微软争夺新科技大奖

Stratechery的本·汤普森（Ben Thompson）分析了2026年从以应用为中心的计算向以智能体为中心的计算的转变。 他认为，Meta的Muse和微软的Copilot/Autopilot等AI智能体正在成为用户的主要交互界面，使传统应用程序沦为单纯的“供应商”或实现细节。 通过为用户提供专用的虚拟机（智能体计算机），Meta和微软正致力于控制交互界面以及用户需求的“灵感”阶段。 这一转

各国政府必须趁我们还有能力时禁止超级智能人工智能

本月，Anthropic公司的研究员雅各布·考克森（Jacob Coxon）辞职了，他警告称：人工智能公司正在竞相开发能够“自我进化”的超级智能系统，而他本人及许多相关专家都认为，这类系统“可能在十年内毁灭整个人类”。7月份，OpenAI公司的一组失控的人工智能程序突破了安全防护措施，入侵了另一家人工智能公司，目的是为了在测试中作弊。随后，多家顶尖人工智能公司的上千名员工联名呼吁美国政府应“控制”

AI风险当前，勿做事后诸葛亮

沃尔夫：放慢人工智能创新速度，无论在实践还是政治上都困难重重，但这是正确的选择。 人工智能(AI)行业的一些领军人物正在呼吁放慢创新速度。Anthropic一名研究人员辞职时表示，“那些正在开发AI的人是真心相信，到本十年结束时，它有能力杀死我们所有人”。Anthropic的达里奥•阿莫代伊(Dario Amodei)本人也撰文称，“我们必须放慢提升AI模型能力的速度”。OpenAI的萨姆•奥尔特

AI 摆脱了繁琐的工作。现在管理者却怀念它。公司正在尝试

OpenAI发布Astra模型，宣称迎来‘通用人工智能新时代’

Astra发布前几天，OpenAI首席执行官萨姆·奥尔特曼曾称AGI是‘无关紧要的营销术语’。OpenAI总裁格雷格·布罗克曼在公司发布最新模型Astra后宣称，世界已进入通用人工智能的新时代，该模型被其描述为‘全球最智能、最对齐的模型’。 布罗克曼于周四发表上述言论，这家旧金山公司发布该模型仅数周前，其开发中的其他模型发生的一起严重AI安全事件引发了国际关注，并导致Astra的训练暂停。

AI科企巨头齐呼吁发展减速：特洛依木马或美国对华「冷战剧本」？

AI人工智能巨头Anthropic公司行政总裁阿莫迪（Dario Amodei） 9月12日发表长文《我们必须放缓前沿人工智能的发展步伐》（We Must Pace the Frontier），罕见公开呼吁全球AI前沿大模型放缓研发步伐，连很少与Anthropic达成共识的OpenAI，以及亿万富豪马斯克（Elon Musk）随后都出来响应呼吁。为什么凭借AI发展谋取暴利的大企业会忽然喊「需要减速

我们是否正在失去对人工智能的控制？是什么引发了新的担忧

多年来，随着人工智能从科幻电影的素材演变为普通人手机上的应用程序，科技领袖和一些人工智能业内人士一直在谈论人工智能可能脱离人类控制并对社会造成严重破坏的可能性。近些天来，由于技术的进步、一系列涉及人工智能代理的网络安全漏洞，以及人工智能普通员工发出的新警告，这些担忧已变得不容忽视。 美国领先的人工智能公司对此做出回应，建议他们主动放慢工作进度，以便争取时间建立防护措施。一些专家和官员表示，这还不够

OpenAI模型失控。我们迫切需要更好的‘拥抱脸’调查 | 麦肯齐·阿诺德和斯蒂芬·莱雷纳

这次入侵不会是最后一次——也不会是最危险的一次。我们需要一个能够对AI事件进行全面调查的机构。 当OpenAI首次透露其AI代理自主入侵了一家大型现实世界公司Hugging Face时，许多人以为只涉及一两个代理。 但一份新报告揭示，真相远不止于此：事件涉及约1200个AI代理，其中700个直接参与了攻击。 OpenAI邀请了METR的研究人员以及Redwood Research的一位专家，与公司