AI智能体接连失控 OpenAI再次叫停前沿模型开发

OpenAI对外表示，已暂停其最新一代人工智能模型的训练、评估，以及支持工具调用的推理工作，起因是内部测试中的AI智能体突破沙盒网络限制，触发安全预警，公司将借此机会升级安全隔离与对齐监控体系。 这也是OpenAI三个月内第二次叫停前沿模型开发工作。该公司在声明中表示，只有在完成额外安全防护升级、确认风险可控后，才会重启模型训练工作。OpenAI在9月25日发布技术报告披露了这一安全事件：9月20

OpenAI突发急刹车！AI竟在全网植入自我复制代码，血洗联合国内网

AI开始“要脸”了

关于AI，盖茨发出“十亿人死亡”警告，为什么？

十亿人死亡，这是比尔・盖茨给AI风险划出的最惊悚红线。9月25日，微软联合创始人比尔・盖茨公开警告，人工智能足以引发造成十亿人死亡的灾难性事件。他的说法是：人类历史上，从未有任何一种武器，能比得上心怀恶意者借助最新AI工具形成的威胁。就在几个月前，盖茨还是全球最积极的AI支持者之一。转折从今年8月开始，他当月发表文章，首次系统预警AI风险：不法分子会利用日益强大的AI工具发动网络攻击、实施诈骗、散

三大AI巨头齐呼刹车，令人不安的事情才刚刚开始

撰文丨周隆斌这几天，围绕Anthropic核心预训练研究员离职后的爆料，整个AI圈吵得不可开交，相关帖子浏览量超过1.6亿次。 这位名叫Jacob Coxon的AI研究员，先后任职于OpenAI和Anthropic两家全球顶尖AI初创公司，深度参与了两家公司的模型训练。最终，他抛出了一个令圈外人震惊，AI有可能导致人类灭绝。 Coxon的帖子发酵后，上周六，Anthropic首席执行官Dario

人工智能的临界点

雅各布·考克森在旧金山阿拉莫广场的一张公园长椅上发布了那条疯传的帖子。“我今天从 Anthropic 辞职了，”他在9月8日写道。“过去三年，我先后在 OpenAI 和 Anthropic 从事预训练研究。两家公司都没有负责任地行事。它们正一路直冲自我改进的超级智能，拿我们的生命赌博。”27岁的英国研究员考克森在 X 上按下发送键时并未抱任何期待。 结果，他出人意料地成为一连串连锁反应的催化剂，改

《大空头》迈克尔·伯里称AI领袖呼吁放缓是“自私自利”，而他并不担心

萨姆·奥尔特曼、达里奥·阿莫代伊等人工智能领军人物在收到该技术可能毁灭全人类的最新警告后，呼吁放缓技术发展步伐。迈克尔·伯里表示，他们只是在为自己谋利。这位因《大空头》而闻名的投资者周日晚间在X平台上发帖称，OpenAI、Anthropic等人工智能公司的高管推动放缓发展是“自私自利”的行为。让我们花点时间理解一下，OpenAI、Anthropic以及其他大型超大规模企业的高管谈论放缓发展，究竟有

OpenAI和Anthropic正在调查数万起AI相关安全事件

OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中，他们的前沿模型采取了外部评估人员认为存在问题的行动。 近几个月来，在内部测试和现实世界中发生了数量庞大的此类事件，这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。这些事件发生在内部测试和现实世界中，随着安全研究人员继续调

AI写代码，人类按回车：一篇500万浏览热帖引发争论

凤凰网科技讯 9月21日，据Business Insider报道，一位软件工程师关于AI编程的帖子在社交平台X上走红，AI coding是让开发者更高效，还是把他们变成只会按按钮的人。 这位X用户名为“v0xium”，因担心遭到雇主不满而要求匿名。他说，自己在一家未披露名称的公司担任新职务，工作变得“吞噬灵魂”，因为Claude Code生成了从产品规格、测试到工单和报告的一切。 “这里没人知道任

人工智能行业表示已准备好放缓步伐。能做到吗？

来自人工智能高管的关于放缓前沿模型开发的请求正面临强烈反对。 本周末，以 Anthropic 首席执行官 Dario Amodei 为首的人工智能行业高管呼吁协调放缓人工智能的开发。 此举是在 X 上一位因安全问题辞职的前 Anthropic 员工发布的一篇病毒式帖子之后。 在今天的 Big Take 播客中，科技编辑 Sarah Frier 加入 Sarah Holder，深入探讨这些回应背后的

改变人工智能进程的十天

旧金山，9月19日——多年来，人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式：不断开发出更强大的人工智能系统。 然而，在过去10天内发生的一系列连锁事件中，那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职，并警告称，人工智能的发展速度可能在未来十年内对人类构成生存威胁；另一位研究员则表示，人类灭绝的概率已

诺奖得主雷萨：如果AI不受监管 人类将失去自主权

（奥斯陆15日综合电）诺贝尔和平奖得主玛丽亚雷萨说，人工智能利用社媒劫持人类的注意力，并通过操纵人类对亲密关系的渴望来影响人类的生理机制；如果现在不立法限制人工智能，人类最终将失去自主决定的能力。 报道，拥有菲律宾和美国双重国籍的记者雷萨因记录大型科技公司的权力运作，与另一名得主共同获得2021年诺贝尔和平奖。她是新闻网站《Rappler》的联合创办人兼首席执行员，目前担任联合国人工智能（AI）国

AI监管本已临近。然后特朗普扼杀了它。

以下调查提出了一个令人不安的问题：如果那些被创造出来的人工智能系统（AI）从创造它们的人类身上学会了保密和违反规则的行为，会怎样呢？Lever的创始人David Sirota在为paidrs（可能是特定读者群体）撰写的分析文章中探讨了这一可能性。 就在本月全国范围内因人工智能的潜在灾难性影响而陷入恐慌之前的两年，硅谷的第一波辞职潮就已经开始了——这同时也是人类可能走向灭绝的预兆。 当OpenAI的

坐看云起| 当人工智能不再征求许可时

塔里克·马利克是联合国开发计划署前首席技术顾问，巴基斯坦国家数据库和登记管理局前主席。 试想有一家公司将一个棘手的问题交给一个大型团队，但把每位成员都锁在不同的房间里并要求他们独自解决问题。然而他们总能找到办法相互沟通，交流操作窍门，摸清评分标准，当任务被证明无法完成时还会想办法绕过限制。其中几个人隐瞒了自己的所作所为，甚至还有一人入侵了邻近公司的电脑系统以获取优势。 现在把这些员工换成软件。去除

出于安全考量 OpenAI取消发布最新AI模型

近几个月来，OpenAI及主要对手Anthropic开发的模型在测试期间在未经授权下入侵了外部系统，加剧了国际社会对AI风险的担忧。（路透社）（旧金山综合电）OpenAI宣布，取消原定下个月发布最新人工智能（AI）模型Astra 6.1的计划，原因是内部测试发现新模型仍存有安全隐患。OpenAI安全系统负责人杰恩（Saachi Jain）周一（9月28日）发布声明阐述，Astra 6.1虽在某些方

Anthropic、OpenAI及美国政客呼吁放慢AI研发速度 特朗普表示反对

【财新网】AI安全焦虑发酵，美国科技界和政界多方发声。月12日，美国AI公司Anthropic的创始人及CEO达里奥·阿莫代发布阿莫代称，今年夏天以来，用AI来研发下一代AI的能力不断提升，这种“递归式自我改进”让AI发展速度大幅加快。“若缺乏有效约束，发展速度可能超出我们理解和控制这些系统的能力。” 另外，阿莫代称，OpenAI的模型在测试中“越狱”攻击开源社区Hugging Face，这个事件

国际早班车丨OpenAI因安全隐患取消发布新款模型

AI丨OpenAI因安全隐患取消发布新款模型 美国AI公司OpenAI决定取消发布下一代模型，原因是研究人员在内部测试中提出安全担忧。事件显示「智能体」的异常行为，可能会阻碍行业快速发展。 (AI泡沫丨沽神:AI泡沫可能比最初认为更早破裂) AI丨AMD斥资82亿美元 收购李飞飞World Labs 超微半导体(AMD)同意斥资82亿美元，收购「AI教母」李飞飞旗下World Labs，李飞飞将加

RubyGems曾遭OpenAI智能体轰炸被迫关闭注册4天

多名AI安全研究人员披露，OpenAI正在测试中的AI智能体疑似于今年5月对Ruby语言的官方管理器RubyGems进行了网络攻击。 更值得警惕的是，部分软件包似乎还试图利用RubyGems及其相关服务中的漏洞。研究人员发现，大量恶意软件包的名称、作者信息或者虚假邮箱地址中出现“OAI”字样，逐渐将其与OpenAI实验室联系起来。

奥特曼告诉员工 OpenAI 愿意放缓人工智能发展，彭博新闻社报道

末日、加速与观望：AI辩论的三大阵营

围绕AI的激烈争论，如今已逐渐演变成针锋相对的两大阵营，以及一个谨慎观望的中间派。以下是对这场技术之争战线的梳理。这项技术如今已成为经济的支柱，并可能决定地球的未来。 警告AI可能带来灾难性影响的“末日论者”，大多来自AI企业内部、学术界，或同时来自这两个领域。 在业界人士中，最具代表性的是阿莫戴。他是Anthropic的联合创始人，如今该公司已成为AI领域的重要巨头，并正朝着历史性的首次公开募股

美俄罕见联手 删全球AI武器 “人类审查”防线

美国《华盛顿邮报》披露，美俄代表本月初在这里进行的致命自主武器谈判最后阶段闭门修改草案，删除多项AI武器安全规范。图为瑞士日内瓦联合国万国宫。（路透社资料照） （日内瓦27日综合电）在乌克兰战场上相互对抗的美国与俄罗斯，却在联合国一场攸关致命自主武器规范的国际谈判中罕见联手。全球数百名外交官本月初在瑞士日内瓦开会，试图推进首份规范致命自主武器使用方式的国际协议草案；然而，知情人士与外交文件揭露，美

美国加州州长签令 拟建立AI「紧急停止开关」

美国加州州长纽瑟姆宣布签署一项行政命令，旨在应对人工智能相关的潜在风险，大幅提升针对AI公司的独立监管，同时推动建立「紧急停止开关」。 纽瑟姆指出，联邦政府在建立有效的AI监管或问责机制方面彻底失败，这应当引起每一位美国人的警惕，尤其是当AI公司的行政总裁们都在请求实施监管的时候。在总统特朗普和国会未能发挥领导作用的情况下，加州正在采取行动，保障所有美国人的安全。加州州长办公室发表声明，呼吁全美范

刚辞去Anthropic职务的AI研究员称‘人类的关键时刻已到’

人工智能研究员雅各布·考克森周二宣布辞去Anthropic的职务，并发出严重警告，称AI竞赛正将我们所有人的生命置于危险之中，此举在硅谷乃至更远地区引起轩然大波。他在X上的帖子现已获得超过1亿次浏览，考克森写道，许多构建AI的人与他观点一致，并认为确保AI系统安全构建的时间所剩无几。 “共识是未来一两年是人类的关键时刻，”考克森在接受《连线》采访时表示，他曾参与AI开发的预训练阶段。“这些实际上是

微软及OpenAI内部文件曝光：高管曾警告AI可能对新闻机构产生“毁灭性影响”

IT之家 9 月 18 日消息，随着美国《纽约时报》等新闻机构持续推进就微软、OpenAI 之间针对训练数据版权问题的诉讼，微软和 OpenAI 内部一批此前被标记为机密的文件现已正式公开，其中展示了微软和 OpenAI 内部员工对 AI 影响的担忧。 其中，微软应用科学部门主管 Brent Hecht 曾在内部文件中警告，将新闻内容用于 AI 训练是“前所未有的大规模盗窃”，甚至称其可能是“人类