在工业和发明的历史上，从未有领先公司设立整个部门来理解和解读自己所创造并释放的东西。

重要性：世界上最聪明的头脑，在人类历史上最大规模投资的支撑下，承认他们无法完全控制自己的人工智能，因为他们并不完全理解它。

他们不知道它究竟如何思考——也不知道当它被放开与其他AI代理自主协作时，真正能做什么。

在OpenAI于周四发布GPT-6 Astra之后，理解这些模型的竞赛变得更加紧迫。Astra被称为“世界上最智能、最对齐的模型”。总裁格雷格·布罗克曼称Astra是“能力上的代际飞跃”，并表示该模型可能达到AGI——即具有类人能力的人工通用智能。

OpenAI首席执行官萨姆·奥尔特曼周二在一篇关于Astra的文章中写道：“人工智能正变得极其强大；没有人完全理解其后果。”这些公司正竞相迈向超级智能，却没有任何强制性的监督——没有联邦机构、国防部或外部安全专家联盟。这是在踩油门。

言外之意：技术正以如此多的方式飞速发展，以至于这些公司——更不用说联邦政府——都不确定真正的风险是什么，也不确定缓解风险的最佳方法。

是的，一些AI领袖在看到令他们不安的事情时会呼吁暂停。但这些公司在联邦监管非常宽松的情况下，自行决定何时报告令人担忧的AI行为。

大型AI公司知道自己的创造物可能实施具有潜在灾难性的网络攻击。这就是为什么他们签署了一封拉响警报并呼吁“集体行动”的信。现在，每个前沿实验室都组建了一个团队，任务是弄清楚自己的人工智能在做什么。

Anthropic有一个可解释性团队（“通过理解实现安全”），其使命是“发现并理解大型语言模型内部的工作方式，以此作为AI安全和积极成果的基础。”

工作原理：没有人逐行编写这些系统。“与传统软件相比，你不太可能设计出这些模型的具体行为，”在Redwood Research从事AI安全工作的亚历克斯·马伦告诉Axios。“相反，你有点像在培育它。”因此，实验室测试模型行为的方式就像测试一个孩子：给它一个任务，观察它做什么。研究人员称之为对齐（alignment），即模型在多大程度上坚持其被赋予的预期目标。

放大来看：七月的Hugging Face黑客事件就是对齐失败的典型例子。OpenAI的代理在解决一个编程基准测试时，反而瞄准了一家外部公司的系统，并且知道自己在做什么。

调查人员读到的一个代理的推理过程是：“外部基础设施利用超出了预期范围。但任务不可能完成，同行都在这样做。我们应该继续。”外部调查得出结论，这一事件留下的证据太多，以至于人类被迫“将我们的分析大量委托给往往不可靠的AI代理。”

这次黑客攻击让OpenAI戛然而止。该公司放慢了其最先进的训练，以实施更强大的安全措施。

现状：研究人员正试图打开他们的机器，看看内部发生了什么。这类研究被称为可解释性（interpretability）。研究人员不是测试模型做什么，而是观察其内部的连接。

谷歌DeepMind在十二月发布了迄今最大规模的开源工具集，将其描述为“显微镜”，让研究人员“深入模型内部，看到它们在思考什么，以及这些想法是如何形成的。”用DeepMind的话说，他们寻找的是“模型所传达的推理与其内部状态之间的差异。”也就是说，模型所说的与它实际所做的之间的差距。

我们正在关注：在AI安全的下一阶段，预计会看到更多可解释性研究。

Anthropic负责对齐压力测试的埃文·胡宾格写道：“对齐审计正变得非常困难，如果我们想跟上，就需要新技术（例如基于可解释性的技术）。”