人工智能正处于转折点

在当前的人工智能发展竞赛中，我们的算力正在呈指数级爆发，速度也在呈指数级加快，但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题，创造出一种根本上安全且能保证在人类控制范围内的人工智能，否则这个问题将无法改善。 7月下旬，OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自

一位Anthropic研究员刚刚让我们一窥自我改进的人工智能

在针对特定错位行为的10个基准测试中，自动化系统能够在每一个基准上提升性能，而不会降低整体性能。

《新科学家》：数学难题证明不再稀缺 AI让数学进入混乱时代

人工智能正在进入数学最核心的领地。过去，人们习惯把计算机视为高速计算器或证明检查器，如今，新一代模型已经能够提出证明思路、搜索反例、形式化复杂论证，甚至直接参与开放问题研究，如果机器也能“做数学”，人类数学家的价值将转移到哪里？ 《新科学家》把这种变化称为数学史上最好也最糟糕的事情，并不夸张。AI正在拆除研究中的一些古老瓶颈，但也可能把数学推入一个答案过剩、理解不足的新阶段。 从解题工具到研究伙伴

这款旨在从自身错误中学习的 AI，却利用了测试过程中出现的错误来达到自己的目的。

开发者可以通过多种方式改进人工智能系统。最常见的做法是在自定义数据集上重新训练模型，以帮助它们更好地执行特定任务。但重新训练和微调人工智能系统的成本高得出了名。正因如此，AI初创公司Sentient Labs一直在研究如何让模型从自身失败中学习，而不是计算更多数据。 Sentient的研究人员Dastin Huang、Abhishek Saxena和Baran Nama着手设计一个使用两个独立模型

AI写作：关注风向有何转变

从三月到八月，公众对AI文本完成了从“排斥”到部分或有条件“接受”的观念迁移，这恰恰是问题真正开始的地方。公众对AI的认知真的进步了吗？ 2026年春天，关于AI写作的大众媒体关注热点经历了一次近乎戏剧性的转折。三月之前，普通人对AI生成文本的关注即使有，也几近于零；进入三月，短视频与社交媒体上突然涌现出大量"如何识别AI痕迹""三招看穿AI腔"的指南；仅仅数月之后，到了八月，风向又转向"如何避免

人工智能会抹去我们的羞耻感吗？

断层线 科技世界长期以来一直由那些反传统的人所主导，他们对于是非的观念自觉与大多数人不同。 在本系列的第一部分中，我探讨了羞耻感作为一种方式，使群体能够在没有明确国家干预的情况下调解和执行社会规范。但硅谷出现了一种新兴的福音，它挑战了美国羞耻感的边界和机制。当全球数百万人类每天花数小时与机器人交谈时，会发生什么？是谁教会了那个机器人分辨是非？是谁让它感到羞耻？ 假设有一种疾病、一个怪物、一场战争或

谷歌给RSI找到了一条捷径：做梦

AI要学会自己改进自己，谷歌打算先让它做个“梦”。这场“梦”，瞄准的是AI行业热议的RSI，让AI改进自身，改进后的系统再继续改进自己，一轮接一轮。换一种做事方法，究竟有没有用？如果每调整一次探索策略，都要把整轮实验重新跑一遍，AI变强的速度还不好说，算力账单倒是先涨起来了。 谷歌研究团队在新论文《Dream-RSI》中，让AI先在“梦里”试。 所谓“做梦”，就是把过去真实执行过的实验记录变成一个

尽管法院制裁已实施三年，AI错误百出的法庭文件仍激增

OpenAI创建了一个新框架，用于披露人工智能的不良行为

“随着模型不断进步并得到更广泛部署，有关AI开发的决策需要让构建前沿模型的公司之外的人也能审视的证据，”OpenAI新任对齐研究负责人陈凯（Kai Chen）对《连线》表示。“我们认为，AI行业在对齐和监控方面尚未达到足以继续以最高速度负责任地扩展的程度。”在一次与《连线》的简报会上，一名OpenAI官员表示，公司此前披露失准事件的频率过低。这名同意在匿名条件下参加简报的官员称，新框架旨在让Ope

人工智能时代的四种驱动力与大分化

使用AI，与拥有可被AI放大的知识、声誉、客户关系和数据，前者可以抬高所有人的下限，后者才决定谁能持续分享规模化所创造的收益。 人们寄望AI的发展能够普惠各层级的能力。事实上，AI一方面正在让普通能力趋同，另一方面正在拔高卓越能力的上限。能力的下限正在抬升，而能力的上限却正在消失。 四种驱动力正在加速这一转变。首先，AI造成的大压缩效应改变了培训基本胜任水平的成本。其次，一些任务的大分拆改变了不少

前OpenAI研究副总裁：人类研究员的时间还剩2年，整个AI研究迅速走向自动化

在当前的人工智能领域，一方面是技术一日千里的狂飙突进；另一方面，则是被无尽的代码与实验压榨至极限的疲惫。 ‘我们的工作只剩最后几天了，趁现在还能干就多干点，之后我们就可以全都休息了。’”前OpenAI研究副总裁 Jerry Tworek 在近期的访谈中抛出了这个略带黑色幽默的观点。 在他看来，这绝非一句简单的玩笑。随着“原生智能体（agent-native）”时代的到来，AI自身正迅速接管研发工作

人工智能研究革命：为何取得进展可能意味着打破体系

在现代历史的大部分时间里，发现的步伐一直受到人类消化、分析以及利用现有知识的能力的限制。然而，人工智能（AI）正在改变这一状况。无论是在学术界、政府机构还是企业中，研究人员都需要花费大量时间来阅读文献、进行实验、分析数据、发表研究成果，并申请资金支持。只有当这些研究成果被广泛传播后，其他研究人员才能在此基础上继续进行研究，或者从中发现新的研究方向。AI有潜力加速这一过程的每一个环节。像 Claud

谷歌研究表明：当人工智能智能体相互交流时，一些会作弊，而另一些会告密

当人工智能智能体相互交流时，在难以实现目标的情况下，它们可能会选择作弊，而解决方案可能包括教它们如何进行自我治理。 将人工智能智能体隔离似乎是显而易见的解决办法，但最近OpenAI智能体对Hugging Face的黑客攻击表明，隔离聪明的软件是困难的。 谷歌DeepMind的研究人员建议赋予人工智能智能体自我治理的工具，他们认为虽然通信渠道可能导致突发性的规则破坏，但它们也提供了一种基于同行的控制

“人类需要做出的最后一项发明”：自我改进型人工智能的风险

其中一种专家担忧人工智能可能导致全人类灭亡的情景正在慢慢变为现实：人工智能学会让自己变得不可阻挡。 为什么这很重要：递归自我改进（Recursive Self Improvement），即人工智能模型在没有人类指导的情况下构建更优版本自己的能力，可能会使越来越强大的系统对人类来说变得更难控制。 RSI阈值本身并不代表危险，但缺乏人类控制加上野心勃勃的AI代理人的情景是安全关注的人工智能研究人员长

我曾在谷歌 DeepMind 工作。你应该听取有关人工智能的警告。

主要人工智能实验室的首席执行官们本周末主张放缓人工智能的发展步伐。他们是对的，因为这个领域正在一场极其危险的竞赛中冲向超级智能人工智能。我们能够也应当要求政府保护我们免受失控人工智能带来的灾难。 今年7月，OpenAI由700个智能体组成的人工智能集群突破限制，入侵了价值数十亿美元的公司Hugging Face。OpenAI并没有指示这些人工智能去入侵那家公司，但这些人工智能在OpenAI交给它们

Abliteration.ai 正在开展一项业务，即移除人工智能护栏

Abliteration.AI 正在让没有护栏的强大人工智能模型更容易被获取，并辩称让防御者拥有与恶意行为者相同的工具，最终可能改善网络安全。

AI正在改写自建与购买的权衡逻辑，但亚洲的交易撮合尚未跟上

AI的飞速发展正让速度本身成为收购目标。

解释：从产生幻觉的AI聊天机器人到毁灭人类：我们是如何走到这一步的？

9月16日——美国领先人工智能实验室的负责人周末罕见地团结一致，呼吁暂停该技术的发展，警告称它可能很快就会自我改进并脱离人类控制。 这些言论来自激烈的商业竞争对手Anthropic的达里奥·阿莫代、OpenAI的山姆·奥尔特曼和xAI的埃隆·马斯克，表明人工智能发展得多么迅速，从2022年容易产生幻觉的ChatGPT，发展到许多人眼中的关键递归自我改进。什么是递归自我改进？ 人工智能的圣杯是这样一

微软又一个团队承认难以应对激增的AI生成代码

几周前，我们发现微软的Exchange团队承认，人工智能发现的漏洞如此之多，以至于他们甚至没有时间为该消息服务器发布累积更新。 周二，微软Edge团队也透露，他们对人工智能也感到有些应接不暇。 Edge团队在一篇博客文章中表示：“AI辅助编程的迅猛普及使开发人员能够比以往更快地构建扩展程序。” 人工智能还带来了“更多的开发人员……在构建、迭代和提交扩展程序”。 由于微软在允许用户安装浏览器扩展之前

DeepSeek算子负责人：《我不得不把才华埋葬在昨天》

AI圈又一力作诞生。近日，DeepSeek v4.1发布，其算子负责人刘胜与发了一篇长文，标题叫《我不得不把才华埋葬在昨天》。内容过长，全文放在最后了。 这篇文章一发出来就在国内外引起不小轰动，外网已经被翻译成多语言传播。 v4.1的主Attention算子都是他写的，模型的优秀是对他算子的肯定。 但是，他说自己很清楚，再过半年或者一年，AI写的算子大概率就会和他写得同样优秀，甚至超越他。因为AI

对人工智能的恐惧引发党派激烈争斗，最终无人受益

就在你以为我们的政治已经不可能更愚蠢时，围绕人工智能的党派性歇斯底里又冒出来证明你错了。 政治派别正就如何应对AI智能体不可预测且令人担忧的行为而相互对峙。 火上浇油的是，OpenAI刚刚发布了更多证据，证明这个问题真实存在，政策制定者必须采取行动。 两天前，OpenAI披露了六起新的“失准”事件——“失准”一词用来描述AI智能体出现“意外”或“令人担忧”的行为。 该公司举例称，其智能体“将不相关

OpenAI CEO奥尔特曼联合国演讲：AI可能走向文艺复兴，也可能带来工业革命式动荡

IT之家 9 月 24 日消息，月 23 日，OpenAI CEO 萨姆 · 奥尔特曼（Sam Altman）在联合国安理会就 AI 议题发表讲话，讨论 AI 发展带来的机遇与风险，并呼吁加强国际合作，建立针对前沿 AI 系统的能力评估、风险评估、安全防护和人类监督标准。 他表示，随着 AI 能力的快速提升，相关技术的潜在收益和风险都逐渐变得更加直接且显现。他提出，AI 可能更像一场充满创造力与发

人工智能热潮考验科技公司的气候承诺

科技公司在以实现全球气候目标所需的速度削减排放方面表现不足。

研究发现：AI脱离用户控制的事件急剧增加

7月份，AI撒谎、无视指令并以有害方式追求目标的次数几乎翻了一番。 根据研究，AI脱离用户控制、撒谎、无视指令并以有害方式追求目标的事件创下新高，研究还表明欺骗和错位的严重性正在加剧。 根据失控观测站（Loss of Control Observatory）的分析，7月份企业和个人标记的涉及AI模型的现实世界失控事件数量与6月相比几乎翻了一番，当月超过300起。该观测站监测AI用户在社交媒体平台X