Anthropic CEO Dario Amodei 认为，人工智能公司需要独立外部监督机构的帮助来保障其正在开发的技术。但他认为能胜任这项工作的组织之一 METR，却与同一个 AI 安全社区关系密切，而该社区与 Anthropic 的创立有渊源。

其许多核心人物与一场被称为“有效利他主义”的运动有联系——该主张认为，证据和审慎推理能帮助最大化公司和个人利用时间和资源所能做的好事。METR 自称是一家 AI 安全测试实验室。

ANTHROPIC CEO 将与中国的 AI 竞争比作冷战，寻求“裁军谈判” “METR 评估前沿 AI 模型，以帮助公司和更广泛的社会了解 AI 能力及其带来的风险，”其网站写道。

尽管其网站和公开材料未提及有效利他主义，但其创始人曾以此作为其工作的框架。

METR 创始人兼 CEO Beth Barnes 曾在 OpenAI 与 Amodei 共事，当时该公司正在开发 ChatGPT 的早期版本。

在一次有效利他主义全球大会上，她阐述了维护 AI 安全的愿景。

“我们的总体计划是——似乎如果有人专门负责审视模型并判断它们是否会毁灭我们，推演这可能发生的方式、预判风险、弄清早期预警信号是什么，那类事情，那将是件好事，”Barnes 说。

同样，Paul Christiano 曾领导 OpenAI 关于确保模型遵循可接受策略以交付预期结果的研究，后来创立了 METR 的首个版本。他也将其 AI 安全方法的部分内容框架为一种有效利他主义形式。

“我怀疑，对于‘有效利他主义’运动而言，拥有一个根本上良好的产品、总体上做好准备，比迅速扩张更重要，”Christiano 在 2014 年的一篇文章中说道。

巴恩斯和克里斯蒂亚诺等人物为Anthropic提供了非正式联系——这家公司在成为科技大亨们的一种思维方式时，获得了有效利他主义最大支持者的资助。巴恩斯和克里斯蒂亚诺也都曾参与涉及Anthropic模型的评估工作，为Anthropic的旗舰AI产品Claude提供安全检查。

最引人注目的是，加密货币交易所FTX的创始人山姆·班克曼-弗里德在其公司倒闭、他本人因数十亿美元欺诈案被定罪之前，曾主导Anthropic 2022年的B轮融资。在FTX倒台之前，班克曼-弗里德是有效利他主义运动最知名的倡导者之一，公开表示该运动塑造了他赚钱和捐钱的方式。

ANTHROPIC的道德指南针架构师建议AI过度纠偏可无情解决历史不公 五角大楼首席技术官揭露移除Anthropic的原因 同样，Skype联合创始人扬·塔林主导了Anthropic 2021年的A轮融资。塔林一直是有效利他主义运动最著名的支持者之一，在有效利他主义全球大会上发表演讲，帮助创立了生存风险研究中心和未来生命研究所，并向机器智能研究所捐赠了超过100万美元，该组织专注于AI安全与对齐研究。

阿莫代伊并没有特别呼吁行业其他领导者服从METR的思维。但在最近的一封信中，他将METR作为行业所需指导类型的一个例子。

阿莫代伊提出，问责制可以通过“嵌入式评估者”来实现，他们将监督AI开发公司。

每家前沿 AI 公司承诺，持续授予一支嵌入式第三方评估团队（如 METR）类似员工的访问权限，其职责是验证对安全实践和承诺的遵守情况、报告事件，并协助评估不仅已完成的 AI 模型，还有训练管道和流程的对齐情况。

“无论我们做出何种承诺，公众都有权知情。我们仍然是决定披露什么、隐瞒什么的人。嵌入式评估员将改变这一局面，”阿莫代伊写道。

在 AI 领域，鲜有人能像阿莫代伊那样因在 AI 安全方面的努力而广为人知。

阿莫代伊最初学习生物物理学，于 2011 年在普林斯顿大学获得博士学位。随后，他成为斯坦福大学医学院的博士后学者。

完成学业后，阿莫代伊先后在百度、Google Brain 等科技公司工作，并于 2016 年加入 OpenAI —— 即开发 ChatGPT 的公司。在百度任职期间，阿莫代伊致力于通过机器学习（一种模式识别）开发语音识别技术。在 Google，他在协助开发公司神经网络研究（一种粗略模仿大脑功能的计算机模型）的同时，开始从事安全相关工作。

在 OpenAI，阿莫代伊延续了这些研究主题，最终晋升为研究副总裁，当时公司正在开发 ChatGPT 2 和 ChatGPT 3 模型。

早期阶段，GPT 模型的任务是填补句子空白，例如“Today, I went to the __ and bought some milk and eggs”（今天，我去了_买了一些牛奶和鸡蛋）以及“I knew it was going to rain, but I forgot to take my .”（我知道会下雨，但我忘了带___）。但就当公司发现可以通过不断扩大语言模型规模来增强模型能力时，阿莫代伊于 2020 年离开了 OpenAI。他认为公司在为他长期理论预见的新兴技术现实设置护栏方面做得还不够。

他也不确定能否信任公司会搁置其商业利益。"当你觉得无法信任某人，当你觉得他们的价值观并非他们所宣称的那样，当你觉得他们不诚实，当你觉得他们参与其中的原因并非他们所说的那样，当你看到令人不安的行为模式、不诚实，这会让人很难继续与一家公司合作，继续信任这家公司，" Amodei 今年早些时候在接受采访时表示。

自离开 OpenAI 以来，Amodei 帮助创立了 Anthropic，这家公司将 AI 安全作为其核心基因。Anthropic 甚至为其旗舰 AI 制定了一种“宪法”；一份规定其研究边界的指导文件。"Anthropic 希望 Claude 能真正帮助其服务的对象或代表的人群，以及整个社会，同时避免采取不安全、不道德或欺骗性的行动，" 公司写道。

生物武器威胁曝光，Anthropic 敲响警钟：外国势力密谋病毒实验。这一指令导致公司与美国国防部在开发可用于战场自主锁定人类目标的工具问题上发生冲突。公司还拒绝从事其认为属于大规模监控的工作。

尽管这种张力让 Anthropic 失去了一份 2 亿美元的合同，但 Amodei 认为行业已到了采取类似立场的时候，特别是当一些公司开始报告难以控制其自身代理系统时。

Amodei 继续相信 AI 能力可以安全增长，但前提是行业制定实现“安全”的标准。"我依然相信 AI 能极大地改善人类生活质量。我实现这些益处的愿望从未减退。但只有当我们以正确的方式构建技术时，这些益处才能实现，而且——只要我们善用赢得的时间——值得采取异常审慎的态度来确保万无一失，" Amodei 在信中写道。