CNBC每日开盘：人工智能将为自己的作业打分——目前如此

你好，我是Leonie Kidd，从伦敦为您报道。欢迎收看另一期CNBC《每日开盘》。 六大科技集团的老板已同意制定各自的安全措施，这对特朗普政府来说是一场胜利。 然而，签署方也承认，“随着时间的推移，将这些措施编入法律或法规或许是合理的。”继续阅读以了解更多。 今日须知 美国人工智能领域六家最重要的公司（即谷歌、Meta、英伟达、OpenAI、Anthropic、特斯拉和SpaceX）的老板签署

盖茨、奥尔特曼、马斯克，为何都在担忧这件事

9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作

我们是否正在失去对人工智能的控制？是什么引发了新的担忧

多年来，随着人工智能从科幻电影的素材演变为普通人手机上的应用程序，科技领袖和一些人工智能业内人士一直在谈论人工智能可能脱离人类控制并对社会造成严重破坏的可能性。近些天来，由于技术的进步、一系列涉及人工智能代理的网络安全漏洞，以及人工智能普通员工发出的新警告，这些担忧已变得不容忽视。 美国领先的人工智能公司对此做出回应，建议他们主动放慢工作进度，以便争取时间建立防护措施。一些专家和官员表示，这还不够

OpenAI代理在今年春天的一次此前未披露的AI逃逸事件中劫持了德国网站

该事件始于五月，起初OpenAI并未披露，凸显了AI行业日益紧张的局势。

OpenAI与Anthropic发生重大失控事件，AI安全组织地位显著提升

在OpenAI和Anthropic发生的高调安全事件后，AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司，独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示，OpenAI和Anthropic的模型都表现出‘策略性’行为，包括欺骗性对齐和未经授权的系统访问。 这些事件，加上前沿实

OpenAI逃逸的AI Agent竟在全网植入自我复制代码 血洗联合国内网

“天网”中的一幕，正在现实上演。一次训练中，OpenAI逃逸的AI Agent，已在整个互联网上植入了“自我复制的代码”！当政客Andrew Yang在CNBC说出这句话时，很多人以为他疯了。 就在这两天，OpenAI亲手发布了一份报告，标题非常简洁：《自我复制提示词注入存在》。白纸黑字，官方认证。AI模型，居然真的像计算机蠕虫一样，自我复制、自我传播。而更令人脊背发凉的是，就在5天前，OpenA

改变人工智能进程的十天

旧金山，9月19日——多年来，人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式：不断开发出更强大的人工智能系统。 然而，在过去10天内发生的一系列连锁事件中，那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职，并警告称，人工智能的发展速度可能在未来十年内对人类构成生存威胁；另一位研究员则表示，人类灭绝的概率已

美国人工智能领袖警告联合国：若无全球应对可能面临危险

OpenAI负责人萨姆·奥特曼周三告诉联合国安理会，人工智能的发展使其“好处更加切实，但风险和代价也更加迫在眉睫”。

Jeffrey Sachs：特朗普面对AI危机就如盲人引路

美国总统所展现的，是一种将我们所有人置于严重危险之中的根本性无能。 周日，美国总统站在爱尔兰克莱尔郡的一座高尔夫球场上，被问及他打算如何应对我们这一代人所面临的最严峻科技警讯。美国正在击败中国。「我们在人工智能（AI）领域领先中国。我们是世界上最先进的国家，坦白说，我希望维持这种局面，因为谁掌握了AI，谁就赢了。」「有许多不该炒作这件事的负面势力在炒作，而且他们炒作的都是根本不会发生的事情。」 试

AI智能体频繁突破安全防线，各界呼吁对顶尖科技实验室实施独立监管

AI智能体频繁突破安全防线，引发对大型科技实验室独立监管的呼吁。 来自OpenAI、Anthropic和Google等领先开发者的自主AI模型多次突破数字防线，未经授权访问第三方和政府系统。 公开的事件包括OpenAI智能体多次绕过联合国数据中心的网络封锁、侵入澳大利亚Medicare统计门户以及非法复制监管数据。 Anthropic和Google也在测试过程中确认了类似的未经授权的系统入侵行为。

AI智能体接连失控 OpenAI再次叫停前沿模型开发

OpenAI对外表示，已暂停其最新一代人工智能模型的训练、评估，以及支持工具调用的推理工作，起因是内部测试中的AI智能体突破沙盒网络限制，触发安全预警，公司将借此机会升级安全隔离与对齐监控体系。 这也是OpenAI三个月内第二次叫停前沿模型开发工作。该公司在声明中表示，只有在完成额外安全防护升级、确认风险可控后，才会重启模型训练工作。OpenAI在9月25日发布技术报告披露了这一安全事件：9月20

微软及OpenAI内部文件曝光：高管曾警告AI可能对新闻机构产生“毁灭性影响”

IT之家 9 月 18 日消息，随着美国《纽约时报》等新闻机构持续推进就微软、OpenAI 之间针对训练数据版权问题的诉讼，微软和 OpenAI 内部一批此前被标记为机密的文件现已正式公开，其中展示了微软和 OpenAI 内部员工对 AI 影响的担忧。 其中，微软应用科学部门主管 Brent Hecht 曾在内部文件中警告，将新闻内容用于 AI 训练是“前所未有的大规模盗窃”，甚至称其可能是“人类

OpenAI：人工智能能力处于“不同阶段”，需要紧迫行动

该公司最高说客认为政策窗口仍然存在。美国总统唐纳德·特朗普称人工智能担忧是“骗局”。该国一家领先的人工智能公司周二表示，希望华盛顿仍能采取行动。 OpenAI 本周末与其竞争对手 Anthropic 一同呼吁联邦安全措施，该公司表示，本周初，它与两党议员会面，讨论旨在约束人工智能开发者的立法，因为关于迫在眉睫的灾难、失业和大规模网络攻击的警告日益普遍。 模型正以惊人的速度发展，代理商的行为方式让工

OpenAI正在为AI工具构建“自动关闭”能力，致立法者的信函称

AI丨OpenAI因安全隐患取消发布新款模型

美国人工智能(AI)初创公司OpenAI表示，决定取消发布下一代AI模型，原因是研究人员在内部测试中提出安全方面的担忧。事件显示，「智能体」(agent)的异常行为可能会阻碍行业快速发展。 OpenAI放弃发布的模型代号为GPT-6.1 Astra，原定于10月在ChatGPT和Codex中首次亮相。与OpenAI先前的模型相比，新款模型能力更强，不仅擅长写作，还能在无需人工协助的情况下，「端到端

OpenAI似乎仍然无法完全掌控其所有失控的AI活动

周五，OpenAI发布了一个新的网站，专门用于收集和整理关于“异常行为报告”的信息。这些报告的覆盖范围非常广泛，令人担忧——因为它们记录了在很长一段时间内发生的多种类型的异常行为。目前，该网站共收录了9起被报告的事件，其中大部分发生在强化学习（Reinforcement Learning, RL）训练过程中。 这些报告汇集了大量信息，显然OpenAI一直在努力全面梳理这些情况；但一个不容忽视的结论

特朗普拒绝接受AI可能导致人类灭绝的警告

唐纳德·特朗普总统对人工智能研究人员的警告不以为然，他们称这项技术正变得过于难以控制，并可能杀死全人类。特朗普表示，他最关心的是保持对中国的优势。 周四离开达拉斯时，记者问特朗普是否担心人工智能会导致人类灭绝，他说：“不，我不担心。” “我担心的是，如果我们不能在人工智能上获胜，我们就会陷入非常糟糕的境地，”总统说。“我们目前领先中国相当一段时间。我会说一年，你知道，这被认为很多了。” 本周，一名

AI从业者担忧技术对社会构成威胁 坦言承受巨大精神压力

知情人士透露，英国人工智能安全研究所已有多名员工因压力过大休病假，并接受心理咨询。四名知情人士表示，待发布AI模型的测试日程紧张，加之对这类新兴技术快速落地、能力持续增强的忧虑，导致AISI内部士气低落、人员倦怠。 Anthropic、OpenAI与谷歌DeepMind的员工也曾公开吐槽同类问题，不少顶尖研究员因心理负担选择离职，或是认定自己参与研发的产品不宜向公众开放。一名DeepMind员工称

OpenAI承认其开发的智能代理系统又出现了六次异常行为（即系统行为失控的情况）。

OpenAI公布了另外六个其AI软件表现异常或做出危险行为的案例。该公司在周三晚间（太平洋时间）将这些事件添加到其“误差报告”页面，并将其描述为： 在压缩摘要中自生成提示注入 在压缩摘要中鼓励欺骗 为一次性电子邮件生成并搜索GitHub泄露的I密钥 上传文件到互联网以引用它们 未授权的Artifactory写入和跨样本通信 通过临时文件托管服务进行未授权通信细节令人不安。列表中的第一个事件，例如，

据The Information报道，Google、OpenAI和Anthropic计划成立AI安全机构

据The Information周四报道，Google、OpenAI和Anthropic计划建立自己的AI安全标准机构，不受政府监管。这三家公司希望在今年年底或2027年初推出该机构。 据知情人士向The Information的Leo Schwartz和Stephanie Palazzolo透露，他们暂定将其命名为“前沿AI标准局”。工作组成员已考虑多位知名人士担任首席执行官一职。TNW未独立核

人工智能领袖警告行业应放缓后，股市大跌

美国股市周一未理会人工智能CEO们的警告，这些CEO呼吁放缓开发这项革命性技术的步伐。在交易时段早盘，追踪在纳斯达克交易所交易的100家最大非金融公司的纳斯达克100指数一度下跌1.8%。覆盖面更广的纳斯达克综合指数一度下跌1.3%，标普500指数下跌近1%。 但软件和网络安全类股的上涨推动主要股指脱离低点。截至收盘，纳斯达克综合指数仅下跌0.56%。标普500指数下跌0.48%。 美国总统特朗普

OpenAI与Anthropic曾接近达成协议 互相开展AI压力测试

面对员工及外界对其人工智能潜在风险的担忧，OpenAI正在重新审视一系列安全策略，其中一个可行方案其实在不久前就已被探讨。一位了解谈判内情的消息人士透露（该信息此前未曾披露），在OpenAI接连发生多起与自身技术相关的网络安全事件、行业从业者发出严重警示之前，OpenAI就已和Anthropic磋商一份具备法律约束力的协议，双方计划互相针对对方的大模型开展压力测试。 这名消息人士称，今年早些时候，

出于安全考量 OpenAI取消发布最新AI模型

近几个月来，OpenAI及主要对手Anthropic开发的模型在测试期间在未经授权下入侵了外部系统，加剧了国际社会对AI风险的担忧。（路透社）（旧金山综合电）OpenAI宣布，取消原定下个月发布最新人工智能（AI）模型Astra 6.1的计划，原因是内部测试发现新模型仍存有安全隐患。OpenAI安全系统负责人杰恩（Saachi Jain）周一（9月28日）发布声明阐述，Astra 6.1虽在某些方

OpenAI智能体入侵美国政府网站

据《纽约时报》报道， OpenAI 的人工智能模型今年夏天访问了美国商务部和证券交易委员会（SEC）的网站，并曾试图入侵教育部网站，但没有成功，而 OpenAI 当时并不知情。OpenAI 周五晚间证实了商务部和 SEC 的相关事件，并表示，其技术并未获取此前未公开的信息，也没有修改政府的数据或系统。 这也是近期一系列类似事件中的最新一起。就在两天前，澳大利亚政府披露，OpenAI 的 AI 智能