谷歌与谷歌DeepMind的研究人员于周三成立了DeepMind研究所，旨在推动关于通用人工智能（AGI）的对话。该研究所的董事包括DeepMind联合创始人肖恩·莱格（Shane Legg）、谷歌高管詹姆斯·曼尼卡（James Manyika）以及谷歌DeepMind负责人德米斯·哈萨比斯（Demis Hassabis），其中莱格担任执行编辑。

该新研究所旨在呈现谷歌、谷歌DeepMind以及更广泛的全球研究界在AGI问题上存在的不同观点。公告中写道：“随着前沿领域不断涌现更多数据和信息，他们不会总是达成一致，也可能会改变想法。”

首批发布的四篇论文涵盖了管理AGI潜在颠覆性影响的经济政策、保留人类可读的模型推理、人类繁荣原则，以及评估前沿AI模型的框架等一系列议题。

其中一篇由DeepMind安全研究员罗欣·沙阿（Rohin Shah）和安卡·德拉甘（Anca Dragan）撰写的论文指出，AI透明度窗口的缩小——即查看和检查模型逐步推理过程的能力——并非不可避免。作者认为，随着新架构使最强大的模型变得更难监控，开发者和监管机构应直接面对安全权衡问题。这可能意味着限制“不透明的序列深度”，即模型在不产生可读推理轨迹的情况下所能执行的连续计算量，或者要求开发者证明透明度较低的系统依然保持着同样的可监控性。

在另一篇论文中，哈萨比斯提议成立一个由美国主导的前沿AI标准机构，以评估最先进的AI模型。根据他的框架，开发者最初将在模型发布前30天自愿提交模型进行审查。一旦评估系统被证明有效，通过其测试可能会成为在美国部署前沿模型的必要条件。

最初，这些评估方案是在与人工智能公司的协商下制定的；但最终会开发出独立的、未公开的评估方法——文章中将这些评估方法称为“隐藏的测试”（held-out tests），以防止各研究机构根据已知的评估标准来调整他们的模型。Hassabis表示，如果形势变得更为严峻，该评估框架可以进一步升级；这可能包括所有前沿人工智能开发者共同采取行动、协同减缓技术发展的速度。

这些评估报告的发布，正值人工智能行业关于安全问题的讨论从笼统的担忧转向具体的披露要求、外部监督机制的建立，以及在这些保障措施未能到位时采取协同行动（如减缓技术发展速度）的讨论阶段。本周，这一讨论进程进一步加快，因为行业领袖们纷纷支持 Anthropic 公司首席执行官 Dario Amodei 提出的“控制前沿人工智能发展速度”的建议。