企业无法完全管控 AI 系统，但可以在其周围构建一道固定的“围栏”，Google DeepMind 的 Kareem Ayoub 表示。他援引了 20 世纪 80 年代末和 90 年代初的银行业为例。当时银行将交易算法置于可供核查的固定规则之内。

DeepMind AI 技术战略副总裁 Ayoub 周三在阿姆斯特丹举行的 HumanX 大会上接受了 Bloomberg 记者 Tom Mackenzie 的采访。他表示，安全辩论的核心在于指数级增长的能力与线性增长的治理之间的张力。

Ayoub 谈及银行业的做法时说：“你可能无法完全管控系统本身，但可以在其周围建立一道确定性的治理边界。”

他将问题拆解为三个部分。一是 AI 在研发中应扮演的角色。二是系统必须达到何种透明度。三是由谁来控制它们。他表示，Google 的“前沿安全框架”设定了能力阈值和缓解措施，是答案的一部分。

Mackenzie 指出，Anthropic 的 Dario Amodei 希望控制前沿发展的节奏。Demis Hassabis 则呼吁建立一个仿照 FINRA（美国证券业金融市场监管局）模式的行业主导监管机构。Ayoub 表示，护栏的建立将需要超越科技公司的合作伙伴关系。

前沿 AI 用于…… Ayoub 描述了技术所能做到的与企业如何使用它之间的差距。在前沿领域，它加速药物研发、翻译古籍并协助探测引力波。而在企业内部，重点往往落在起草或摘要邮件上。

他表示，从模型到智能体作为产品的转变始于 2025 年底左右。智能体将模型包裹在记忆、工具和互联网接入中，使其能够处理长链条、多步骤的任务。他称，目前回报最强劲的领域是软件工程。

Ayoub表示，他合作过的最优秀公司有四个共同习惯。它们快速构建安全的沙盒环境，而不是等待耗时数年的IT项目。它们不押注模型进步会停滞。它们衡量真正关心的指标。而它们的领导者会亲自使用这些工具。

“最优秀的企业会问：如果底层模型变强十倍，我正在构建的东西会不会变好十倍？”他说。

他说，当公司奖励员工隐瞒AI使用情况时，就会失败。当领导者仅浅尝辄止地使用工具时，也会失败。随着智能成本下降，他希望更多投入流向验证输出，而非单纯生产更多输出。

DeepMind Mackenzie最后询问了士气问题。他提到今年有研究人员离职，以及Hassabis转任主席。Google于8月将AI领导权移交给位于加州的Koray Kavukcuoglu。

Ayoub表示，对于已有报道他没什么可补充的。他说AGI是Hassabis的毕生使命。他回忆Hassabis在Google I/O上说过，回首往事，我们大概会意识到身处“奇点的山脚”。他还指出，由Kavukcuoglu领导的Gemini项目周围充满活力。

DeepMind本月成立了DeepMind Institute以探讨AGI。前DeepMind研究人员也在创办自己的公司，包括世界模型初创公司Emulate。“未来不再是预测挑战，而成为设计问题，”Ayoub说。