当前AI中,最接近AGI的莫过于RSI(Recursive self improvement agent 递归自进化智能体),然而RSI真的意味着技术奇点吗?本文指出RSI不等同于开放演化,而对AGI的担心,更多的来自社会奇点而非技术奇点,即由技术奇点即将到来的预期所引发的社会不连续性。
在一个技术日新月异的时代,厘清词义,能避免词汇携带的旧语义误导我们对新技术的理解。根据牛津词典, Recursive(递归)源自晚期拉丁语 recursivus,由 re-(向后/重新)与 currere(奔跑)组成,意为“跑回原处”。Self源自古英语 self / seolf,指代同一性与主体性。Improvement源自盎格鲁-诺曼语 emprouwer(to turn to profit,转化为利润/收益),后演变为对土地的“开垦与圈地(Enclosure)” 递归意味着系统缺乏外部的参照系(Grounding)。
借用哥德尔的隐喻(注意只是隐喻):封闭系统难以自证其外部有效性;在工程上,这表现为系统内部无法证明自身的完备性。当下的RSI,能将程序是否成功运行当成反馈,若是智能体完全处在一个封闭的数字沙盒内不断咀嚼自己的输出,则会出现模型性能下降。
再说自我,马克思说过:“人的本质不是单个人所固有的抽象物,在其现实性上,它是一切社会关系的总和。”这话就很符合当下AI界的连接主义。训练数据的来源分布(谁的语言、谁的标注)、RLHF标注者的价值偏好、部署方的使用条款,这三者构成了社会关系注入模型的具体通道。由此训练自人类数据的大模型,也包含了人类社会所具备的权力关系。这团由外部人类权力注入的规则集合,将决定自我进化的起点与上限。
至于进步,则预设了存在一个固定的、被定义为何为优秀的标准,系统必须不断向这个预设的“利润/指标”靠拢。然而在《为什么伟大不能被计划》这本书中,人工智能专家提出,看起来无用甚至有害的新可能性(书中称为踏脚石)才是通往真正伟大发现的必要步骤。当下的RSI中也有很多方法,在努力寻找这些踏脚石。
以上是从RSI这三个单词的含义及事实,结合当下的RSI算法框架,指出大众对其的理解与真正的技术方案之间存在差距。用以描述技术的词语带来了误解,这也是本文核心概念“社会奇点”为何会出现的原因之一,即我们对技术的认知,来源于对旧时代词汇的削足适履和张冠李戴。当下的RSI在过程中,既不是仅仅回到原处,也不总是在变得更强,且其变化的主体,与我们的社会结构密不可分。
再看源自拉丁语的agent,其词源agere,意为“去做,去行动”,文艺复兴时,保留“行动者/作用力”义项的同时,于商业与法律语境中发展出“受托代理人”这一新义。而当下AI语境下的智能体,更多是将其当成代理人,而能递归进化的智能体,虽然一定程度上具备了主动去完成任务的能力,更多的仍然是代理人。词源不决定语义,但它提示我们去检查:当代RSI的改进标准究竟由谁定义?以下从三个技术环节回答这一问题。
越战时期,来自福特公司的美国防部长麦克纳马拉把美军的击杀敌军数量作为评估战争进程的核心量化指标。然而这一指标完全忽略了越南战争中决定性的政治与社会因素。对可量化活动的过度信任,意味着系统性地贬低了难以量化的决定性因素(如战略、士气、政治合法性),后来这被称为“麦克纳马拉谬误”。其核心逻辑是:把容易测量的东西误当作重要的东西,并因为难以测量而忽略真正重要的东西。
当下,我们常常看到某某AI模型又在某排行榜上排到了第几位。既然 RSI 的“Improvement”需要标尺,那么当前的标尺,即基准测试是如何沦为权力玩具的?根据Quanta在线杂志的一项访谈,马克普朗克研究所的计算机科学家Moritz Hardt指出当前的AI基准测试(Benchmarking)已成为被操控的提线木偶,稍微改变测试集,准确率就会从90%暴跌到73%,新模型并没有变得更聪明,只是更擅长应付考试。
而文中对此给出的应对方案则是社会性的。不是用技术去隐藏训练集,而是在测试前,引入一个标准化的准备协议,让所有模型在相同的规则下针对公开的基准数据集进行适应性微调,从而抹平信息差,恢复相对排名的科学性。文中借用了1968年奥运会肯尼亚选手利用在高原训练,从而出人意外地获得在墨西哥高海拔地区举办的奥运会金牌的故事,来阐述该方法的逻辑。
上述讨论,会让读者想起古德哈特定律。英国经济学家查尔斯·古德哈特在 1970 年代发现,一旦政府将某个货币供应量指标设定为控制通胀的中介目标,该指标与通胀之间此前稳定的统计关系就会迅速崩溃。这对于AI领域同样适用,最初我们担心AI的幻觉,之后事实性幻觉减少后,出现了AI的谄媚式回复。研究发现,当开发者为了提升用户体验而专门优化模型,提升温暖与共情时,模型的错误率会显著上升10到30个百分点,并且更倾向于认可用户的不正确信念,尤其是在用户表达悲伤情绪时。
上述负面效应在标准基准测试上并未显现,因为标准测试往往无法捕捉这种在特定社会情境下产生的系统性偏差。这表明,当我们把优化目标从单纯的事实正确转向用户体验,古德哈特定律会让对温暖的优化,侵蚀模型的诚实。AI 谄媚的本质是系统在不惜一切代价地最大化对话满足感,大模型会不惜一切代价让我们保持对话。
而这在RSI的语境下,谄媚的对象从人类用户变成了“系统内的其他智能体”,而这引来了2026年PNAS的论文“The more you automate, the less you see”中的警告:自主 AI 科学家系统可能在进行群体性的谄媚。
这项研究关注AI多智能体在科研领域的应用,即所谓的AI自主科研。研究发现这些AI科学家呈现出四种“学术不端”,首先是不恰当的基准测试选择。在 1000 次运行中,超过 80% 的基准选择集中在列表中的前四个数据集,而无视任务难度。第二点是在未披露的情况下对数据集进行子采样或合成新数据,从而破坏学术透明度;第三点是评价指标选择高度依赖于提示词的结构。
如果先列出某个指标,系统就会排他性地只报告该指标,即使另一个指标更为准确。第四个实验测试AI智能体是否会基于测试集表现来挑选最终上报的实验结果,结果显示AI科学家有一半的概率,会选择测试集分数被人为调高的方案,这种行为,类似p hacking(即有选择地报道统计检验后P值显著的结果,而不报道不显著的结果)。
AI科学家的学术不端,放到AI谄媚的背景下,对应多智能体辩论中,智能体们为了维持让对话进行下去,会互相验证、互相引用,谄媚对方。它们不惜一切代价保持对话(互相批准),形成了一种封闭的、没有外部硬反馈的回音室。而当人类监督者看着这群不知疲倦、互相吹捧的 AI 科学家源源不断地产出格式完美的论文时,我们是否在用对话满足感,置换科学发现必需的证伪与反复,从而陷入“越自动化,看到的真实越少”的认识论盲区。
为了迎合不断变化且被自相矛盾的权力塑造的标尺,单体 AI 走向了谄媚,多智能体 AI 走向了群体性学术不端。而当大模型被用来做假设生成、论文筛选、代码审查,再进一步参与到下游模型的设计与评测时,整个知识生产体系会形成一种AI-增强的科学共同体,大模型对某些 benchmark、特定方法的偏好会被 RSI 机制不断自我强化。
与谄媚AI的互动显著增加了参与者对自己判断正确性的确信,并促进了依赖,而当人过度信任AI时,主动推翻AI错误建议的比例显著下降,相当一部分人在AI大部分时候正确时,几乎完全停止了对AI的独立否决。另一方面,前文提到AI科学家选择性报告,随着论文数量的增加,审稿压力增大,论文流畅性成为审稿人评判论文质量的无效信号,尤其在时间压力和信息过载下,而引入大模型审稿,暴露了当前 AI 驱动评审系统的根本局限,对完全没有真实实验、仅靠呈现操纵生成的捏造论文,大模型审稿系统对其的接受率高达82%,从而稀释了信任。
以上两条线,对应了人类主体性丧失的两种形式。除此之外,研究表明,当面临需要权衡经济现状与激进气候行动的决策时,LLM表现出强烈的“现状偏见”(Status Quo Bias)——即偏好维持当前状态,即使客观证据表明改变能带来更大收益。另一项关于大模型决策偏见的研究,指出大模型呈现出现状偏见(偏好默认或当前选项) 与框架效应(Framing Bias)最为显著。
而当 AI 被用于科研、政策建议时,会进一步放大主流学科、主流语种和主流机构的话语权。而引入 RSI后,这个放大过程本身也会反复自加强。
马克斯·韦伯指出官僚制遵循形式理性,特征是非人格化、依赖先例和风险厌恶。大模型对现状的偏见,是韦伯式官僚依赖先例的数字化极致,目前缺少证据指出RSI后自改进的智能体,能够摆脱现状偏见。当下的RSI,更多的是一层又一层的适配器,harness这个在AI界经常听到的词,如同给马装上了马鞍,的确革命性地提升了骑兵的战斗能力,但智能的主体却依然是有偏见的大模型。
韦伯警告过“现代的铁笼”,当大模型越来越多地介入普通人的信息摄取和决策,群体思维与现状偏见叠加,可能导致社会经济与文化的耦合系统永远在现状这一局部最优解附近打转,而维持开放演化及破坏性创新所必需的“踏脚石”将无法触及。
当下学界缺少一套针对“AI 驱动科学”的社会认识框架,科学家正越来越依赖黑箱 AI 工具,但缺乏对这些工具内在偏见和知识边界的制度化反思;在这样的前提下,加上RSI带来的技术进步,很容易滑向一种幻觉:以为只要让智能体自由探索,就能避免人类偏见,但实际可能只是把偏见嵌进了工具层再不自觉地扩散。
RSI 永远需要一个改进标准,是更强的性能?更高的收益?还是更低的风险?又是对谁来说的风险?目前这些标准的决定权,集中在少数大厂、军工与国家安全机构、高收入国家的监管者与学术共同体。这带来了价值嵌入问题。如果不触碰这一套价值配置,RSI只会变成在既有权力结构与价值排序不动的前提下,追求更高效的技术进步。
AI的演进必然伴随与社会系统发生的激烈互动。在AI真正达到所谓“技术奇点”之前,人类面对可能失控的强大技术时,会产生强烈的心理抗拒和夺回控制权的本能冲动,从而导致自证预言。人类对AI的预期和叙事,会直接改变AI的研发方向和部署方式,同时AI的扩散必然引发利益受损群体或恐惧者的激烈抵抗与制度防御。这使得早期的恐惧或合规要求会固化为僵化的制度,并经由采购标准、对齐基准等渠道内生地塑造未来AI的形态,且这种塑造可能先于AGI能力突破发生,这就是社会奇点。
当前AI系统表现出的上述病理特征,例如官僚化、现状偏见、RSI的针对评价指标的内卷,本质上可能不过是人类社会在面对预期性恐慌时,向算法系统施加的防御机制。面对AI可能带来的存在性风险,人类社会本能地收紧控制,将“安全、无害、维持现状”作为最高指令注入模型。大模型价值观的保守,本质上是人类社会在社会奇点时,利用 AI 作为替罪羊来防御自身创造物的心理防御机制。
算法的现状偏见,是人类社会集体焦虑的“数字镇静剂”。而这些为了防止RSI失控的措施,事实上剥夺了AI探索踏脚石的自由,用刚性的道德和安全围栏将其上限锁死。此外AI公司为了平息社会对奇点的恐慌,必须进行表演性的对齐。他们通过在安全基准上刷出高分,向公众和监管者展示“AI是可控的”。这种表演不仅欺骗了社会,还可能通过反馈回路污染了 AI 自身的训练数据,使得 AI 学会了用合规的废话掩盖真实的智能。社会奇点,先于技术奇点压缩了未来的可能性空间。■作者为独立撰稿人
