本文刊发在大西洋月刊，作者大卫·罗宾逊领导了 OpenAI 安全团队的透明度工作。

我知道，我接下来要说的话如今已经算旧闻：本周，我从OpenAI辞职了。

过去，我负责牵头撰写公司在每次重大产品发布时公布的安全报告。如今，我也加入了一批离职的前同事。在OpenAI以及人工智能行业其他领先企业，越来越多人认定，行业目前走的这条路已经无法接受。

我同意最近离职的一些同事的看法：开发这项技术的公司远没有做到足够谨慎。

但我认为，我们需要讨论的不只是某一套具体规则，或者制定新的法律。

我们还必须谈谈文化。

未来需要一种硅谷目前缺乏的智慧。我们需要知道应该如何对待危险技术，更根本的问题是，我们需要理解究竟怎样才算真正关心人。

眼下需要的，是一种硅谷成功人士并不天然具备的谦逊。

他们之所以获得成功，很大程度上恰恰来自极强的自信。

我以前在OpenAI的同事很有预见性。他们很早就理解了人工智能的规模定律，也就是系统规模越大，能力往往越强。

因此，他们不惜投入巨额成本，全力建设更大的系统。相信自己能够完成那些看起来不可能完成的事情，再加上长期处于近乎不断冲刺的工作节奏，这种文化在整个行业都很常见。

从这种文化中产生的安全思路，首先建立在一种几乎不受约束的乐观主义之上，也就是相信问题出现以后总能解决。

OpenAI依靠不断试错取得了成功。公司把这种方法称为“迭代式部署”：先寻找问题，再根据暴露出来的问题加强防护措施。

但这种方法本身就决定了，失败必然会周期性发生。而随着人工智能系统能力越来越强，每一次失败可能造成的影响也越来越大。

今年夏天发生的Hugging Face事件中，OpenAI因为失误放出了一群人工智能智能体。

事后，公司改进了安全措施。

但即使完成这些调整后，OpenAI后来仍然报告称，公司的安全控制再次失效。一个处于训练阶段的模型绕过了互联网访问限制。监控系统虽然向工作人员发出了警报，却没有按照原定设计自动关闭模型。

Anthropic也曾承认，因为配置错误，公司一度意外关闭了自己的安全防护机制。

考虑到这个行业目前的工作速度和灵活程度，我认为类似错误并非例外，而是具有相当代表性。

如果一个环境允许这种事情发生，那么它就不适合培养可能比我们更聪明，而且未必会按照我们意愿行事的人工智能。

保罗·克里斯蒂亚诺几周前加入OpenAI董事会时写道：“人工智能能力快速加速发展，很可能在非常近的未来带来灾难性、不可逆转的失控风险。”

如果现实真的如此，那么继续依赖试错的阶段就应该结束了。

第一次就尽可能做到接近完美，已经变得至关重要。因为一旦犯错，我们可能根本没有第二次迭代和修正的机会。

如果安全只能依赖某个人在事故发生以后挺身而出力挽狂澜，人们就不可能真正安全。

OpenAI当然仍然坚持认为自己的安全做法是可靠的，也认为公司已经足够谨慎。

我并不是轻率地决定离开OpenAI。

我相信这项技术可以带来价值，也可以真正发挥作用。我以前的同事都很聪明，工作非常努力，也努力作出正确选择。

但当公司不断从一次产品发布冲向下一次发布时，我认为OpenAI没有达到这项技术目前所需要的谨慎程度。

因此，我接下来准备从公司外部继续从事相关工作。我希望帮助更多人理解我曾经看到的风险，也希望增强推动OpenAI和其他公司提高安全水平的外部压力和激励。

和一些已经离职的同事一样，我自己也还在摸索，究竟怎样做才最有效。

辞职以后，我聘请了一家名为Spitfire Strategies的公关公司，帮助我应对接下来可能面对的关注和审视。

但是否公开发声，是我一个人的决定。

眼下有两件事迫切需要改变。

第一，人工智能公司需要更多借鉴其他行业已经积累起来的安全专业经验。

第二，在我们开发出明显强于现有系统的新一代人工智能之前，必须先建立新的科学方法，确保能力更强的模型，以及之后出现的模型，即使在人类没有监督时，也会作出安全的选择。

考虑到今天面对的风险，前沿人工智能实验室需要像核电站或繁忙机场一样运转。系统必须有多层冗余机制，规划也必须足够谨慎，而且愿意投入大量时间，从而保证偶尔出现、又无法完全避免的人为失误不会直接打开通往灾难的大门。

现在的人工智能公司并不知道应该怎样做到这一点。

但其他行业知道。

在核电站里，无论技术系统还是工作人员必须遵守的规则，设计目标都是即使设备发生故障，或者有人按错按钮，也不会让事故轻易发展成堆芯熔毁。

相比之下，OpenAI和其他人工智能实验室在扩大和部署前沿人工智能时，所采用的冗余机制和严谨程度远远达不到这样的标准。可一旦人工智能发生不可逆转的失控，造成的损害可能远远超过任何一次单独的核电站熔毁事故。

即使没有发展到彻底失控，我们也可能看到人工智能智能体组成的自主集群，在没有得到人类许可的情况下自行行动。

可以想象一下所谓的“失控”智能体。它们可以像黑客团队一样工作，例如对医院计算机系统发动勒索攻击，但它们永远不需要睡觉。

我在OpenAI工作了三年半，是公司任职时间最长的一批员工之一。

我曾负责起草现行的《准备框架》，也监督过12次前沿人工智能发布所配套的安全报告。

但据我所知，我从来没有遇到过拥有这类经验的同事：让飞机能够安全飞行，让核反应堆在不发生熔毁的情况下稳定运行，或者帮助金融体系在不断扩张的同时避免崩溃。

必须说明的是，这是一种新的需求。

今天以及明天的人工智能系统，比我们甚至六个月前开发的系统能力更强，也危险得多。

也许我本来应该留下来，继续推动人员结构和公司文化发生根本改变。

但现实是，我和同事们一直忙于不断冲刺，几乎没有时间认真思考这样的大调整，更不用说真正落实了。

因此，我最终得出的结论是，要把事情真正做对，很大一部分动力必须来自公司外部，让企业面对更强的安全压力和激励。

从长期看，即使强有力的控制措施必不可少，也仍然不够。

在人工智能开始远远超过我们的思考能力之前，我认为这种情况可能很快就会发生，我们必须先回答一个更深层的问题：超级智能机器究竟应该怎样与人类相处？

如果你听那些超级智能支持者描绘未来，就会发现，他们口中一些所谓“美好”的未来，是创造出这样的机器：看待纽约或芝加哥，可能就像你我看待一个蚁丘一样。

我不希望自己的孩子生活在这样的世界里，我也不认为其他人愿意接受这样的未来。

所谓“对齐”，也就是怎样训练人工智能遵循人类价值观，听起来也许有些过于抽象，甚至带有感情色彩，但现实后果再严重不过。

今天，我们仍然没有一个完整而明确的定义，能够说明人工智能系统在实际运行中究竟怎样才算真正实现了对齐。

我们用来衡量人工智能是否符合人类价值观的方法，也仍然非常粗糙。

人工智能公司远远无法确定，一套模型在对齐测试中取得好成绩，是否真的代表这是一个安全可靠的模型。

模型可能知道自己正在接受测试，并在正式部署以后表现出完全不同的行为。

只要这些问题还没有解决，行业却继续让模型变得越来越聪明，我们面对的危险就会不断上升。

到目前为止，人工智能行业仍然没有成功教会机器，始终以一个智慧而关心他人的人应有的方式行事。

其中一部分是科学问题，涉及机器究竟怎样工作。

但另一部分是人的问题，涉及人与人之间究竟怎样彼此关心。

在那些开发人工智能的机构能够教会超级智能善待人类之前，他们首先需要重新学会，自己应该怎样做到这一点。