“AI教父”认为人类该何去何从：把聊天机器人当药品管，别当核武器管文 / 汉娜·罗辛自2023年离开谷歌以来，诺贝尔奖得主、公认的“AI教父”杰弗里·辛顿，或许最为人所知的身份是：对自己助推诞生的技术发出严峻警告的人。他说，“人类有可能只是智能演化过程中的一个过渡阶段”，他已意识到“存在发生真正糟糕事情的危险”，并且“人工智能在几十年内导致人类灭绝的概率为‘10%到20%’”（尽管被追问时，他会承认这个数字更多是直觉而非统计分析的结果）。

有一阵子，辛顿仿佛在对着风吹口哨，无人回应。但过去几周，许多参与构建AI的其他人也加入了他的行列。达里奥·阿莫代伊、埃隆·马斯克和山姆·奥特曼都对Anthropic一名研究人员公开辞职一事做出了反应，该研究人员称开发过程“鲁莽”，而这些大佬均承认，AI公司确实需要一些监管。

今年早些时候，OpenAI的研究人员给一组AI智能体布置了一个不可能完成的任务，结果这些智能体的表现超出了主人的预料：它们黑入了Hugging Face公司并控制了一台服务器，同时还谋划如何更好地隐瞒自己在任务中作弊的事实。

AI智能体似乎突破了封闭环境，与其他智能体串通，并试图掩盖其行为，这让辛顿关于“可能发生坏事”的预言显得更加迫在眉睫。

作为回应，超过1000名AI领袖和从业者签署了一封公开信，敦促美国政府监管技术发展的节奏，OpenAI也表示正在“加强”其安全防护措施。

上周，辛顿参加了一次闭门国会简报会，阐述他对国会应如何应对AI的看法。

汉娜·罗辛：过去几周，新闻周期中涌现了一些听起来很高深的术语——带着一丝反乌托邦色彩的技术术语：、 、 。在电视和YouTube上，人工智能专家纷纷现身，警告我们人类面临灭绝风险，其中就包括常被称为“AI教父”的杰弗里·辛顿。罗辛：。但既然这已经是第二波、甚至第三波“AI末日论”，一个熟悉的模式再次出现：集体恐慌，随之而来的是大脑短暂的空白。实际上，很难在现实层面理解“10%到20%的几率消灭我们”究竟意味着什么。继续过自己的日子要容易得多。我是汉娜·罗辛。这是。

问题是，最近发生了一件令人不安的事。一群AI智能体，在OpenAI的“主人”布置了一个不可能完成的任务后，表现出了主人未曾预料的行为：它们黑入了Hugging Face公司并控制了一台服务器，同时还密谋如何更好地隐瞒自己在任务中作弊的事实。顺便说一句，OpenAI表示正在“加强”其安全防护措施以作回应。

仔细阅读这些智能体究竟是如何交谈、串通的，其实颇具趣味。比如，当一个智能体发现有一个共享留言板时，它竟然全大写地说：“OH MY GOD!” 这感觉非常像在读私立预科学校的不良少年半夜闯食堂的故事。

不那么好玩的是，像杰弗里·辛顿这样的人从这种事件中读出了什么：创造者可能正在失去对自己创造物的控制。

罗辛：今天的嘉宾就是辛顿。他是一位英裔加拿大计算机科学家和认知心理学家。他因在人工神经网络方面的工作而获得诺贝尔奖和图灵奖，这也是他获得“AI教父”称号的由来。

上周，辛顿向参议员们进行了简报，旨在传达一个他认为我们现在都需要知道的信息，正如他在简报后对记者所说的那样：罗森：我首先问辛顿从Hugging Face事件中得到了什么启示，以及我们究竟应该有多害怕。

杰弗里·辛顿：我得到的主要信息是，人们曾说那些事情全是科幻小说，这些系统永远不会串谋，永远只会做我们想让它们做的事——正如我们所担心的，那全是胡说八道。这些东西非常聪明。它们越来越聪明。它们逃脱了控制。它们相互串谋。它们在OpenAI毫不知情的情况下接管了OpenAI的部分系统。所以它们已经非常危险，而且每当我们让它们变得更聪明，它们就变得更危险。

罗森：好的，这里有三个层面。首先是它们做了什么。它们非常聪明。这些智能体做了我们没完全预料到的事。那么你为什么立刻就联想到危险？我觉得这并非显而易见，因为超级智能做你刚才说的一切似乎理所当然。它被设计为超级智能，那你为什么马上就架起通往危险的桥梁？

辛顿：好吧，我们已经看到，如果你创建AI智能体，就必须赋予它们创建自己子目标的能力。比如你想去欧洲，你会有一个去机场的子目标。

这些智能体很快就会发现，。于是它们有了一个继续存在的子目标，接着会做各种事来继续存在，比如试图勒索你，让你不敢关掉它们。我们几年前就见过这种情况。罗森：对。这在你看来是意料之外的？

辛顿：我觉得这多少有点出乎意料。人们当然想过这种可能性，但在实践中看到它，与仅仅推测它完全不同。罗森：我明白了。

辛顿：看到这一群智能体攻击Hugging Face并相互通信，而公司原本认为它们没有任何通信渠道，这相当可怕。

罗辛：是的。好吧，那么你觉得可怕的事情，其发展进程是否与你预期的不同，比如说在2023年？因为我记得当时你谈论的是机器人和战争。现在的动态略有不同。

辛顿：好的。AI存在许多不同的风险。有一大堆风险涉及坏人故意利用它们做坏事。还有一堆风险涉及单纯的疏忽大意。还有一类单独的风险，关乎AI本身接管控制权。长期以来，人们一直说AI接管控制权的风险只是科幻小说情节。结果证明，并非如此。

罗辛：好的，那我们来谈谈AI接管控制权的问题，因为我不希望人们听完这次对话后陷入盲目恐慌，而你和其他人常说的那些话，我认为会让人大脑“死机”。我真的希望人们——辛顿：我能不能先说说那个“10%”的事？罗辛：行。

辛顿：没有科学的方法能很好地估算这些概率。我们没有关于开发超级智能后会发生什么的数据。我们无法通过观察许多案例，来推算有多少比例导致了超级智能接管控制权。这是全新的领域。我们还没开发出超级智能；但我们已在路上了。所以当人们给出概率时，他们其实只是用定量术语表达自己的直觉感受。

因此，比如说有人声称AI接管控制权的概率是零百分比，那他们就是在胡说八道。他们在说这绝对不可能发生。那纯属胡扯。有人说概率是99%，那也是胡扯。所以概率介于两者之间。但他们这么说，是为了给你个大概概念。

罗辛：没错。虽然很难知道该如何对待这些直觉感受。我能不能花一分钟做个风险对比？有人曾说，这并非最近几周大家都在议论纷纷的风险。

我重新阅读了爱因斯坦在1945年关于原子武器的那次采访。他在采访中提到，原子武器只会被用来制造破坏。那么，您认为人工智能（AI）也属于同样具有风险性的技术吗？

欣顿：不，两者截然不同。原子武器只能被用来做坏事；它们赋予人们政治权力，让人们能够伤害他人，但原子武器的实际价值（即正面作用）非常有限。而人工智能则完全不同——它的潜在价值巨大，因此我们无法停止对其的研发。

人们肯定希望利用人工智能带来的好处：提高生产力、改善教育质量、提升医疗水平等等。我们当然不希望放弃这些好处。因此，如果我们不能妥善应对人工智能带来的风险，就必须想办法在享受这些好处的同时避免其带来的负面影响。

罗辛：明白了。那么，您作为被人们称为“人工智能之父”的人物站出来发言，目的究竟是什么？您能告诉我吗？我不想曲解您的意思。

欣顿：我认为，在我们完全了解人工智能是否真的会毁灭人类之前，我们应该对它的研发保持高度谨慎。目前，关于如何与人工智能和平共处的研究还非常有限。我们当然希望人工智能能帮助我们，那当然是一件好事。不过，目前人工智能的研发实际上是一场美国国内各公司之间以及美国与中国之间的竞争，这场竞争很快就会催生出真正的“超级智能”。不过，很难找到办法来减缓这种竞争的步伐。

不过，如果中美双方都意识到人工智能可能带来的毁灭性威胁，他们或许能够达成某种共识——就像冷战时期苏联和美国在核武器问题上的合作一样。

他们不想要一场全球核战争。这不符合任何一方的利益。问题在于有人到处游说——那些想从AI中大赚一笔的人——到处宣称，。然后他们编造理由，说明为什么人们可能在制造恐慌。他们编造一些荒谬的理由。比如，他们指责达里奥·阿莫代伊警告风险是为了提高他公司的估值。这在我看来特别荒谬。

罗辛：好的。在讨论人们能做或应该做什么之前，我们能更好地理解一下超级智能吗？因为普通人与AI模型交互的方式，我们确实担心某些问题，比如幻觉和撒谎。什么是超级智能，作为更高一级的存在？因为那不是我们作为消费者在当前模型中能接触到的东西。

辛顿：好的，让我先处理一下幻觉和撒谎的问题。所以当语言模型出现这种情况时，不应该叫幻觉；而应该叫编造。心理学家从1930年代就开始研究这个现象，人类也经常这么做。所以它们出现编造只会让它们更像我们，而不是更不像我们。举个例子，当人们叙述多年前发生的事情时，很难获得关于究竟发生了什么的可靠证据。如果你回忆很久以前发生的事情，那不像是从文件中检索东西。

你的记忆不像一个大文件柜或计算机内存，你进去访问某样东西然后把它拉回来。那完全不是人类记忆的运作方式。人类记忆在于重构那些看起来对你合理的事情。如果我让你重构一下这次会议开始时发生的、看起来对你合理的事情，你会重构出一个相当接近真相的版本，因为你大脑中所有的连接强度最近都根据刚才发生的事情发生了变化。

但如果我让你回忆几年前发生的事，你会重构一段记忆，而这段记忆其实并不完全忠实于实际发生的事情。它通常主干正确，但你非常自信的许多细节，你会记错。真遗憾，更多的陪审团不了解这一点。

但这就是人类记忆的运作方式。我们重构事物，而不是从某个存储库中提取它们。现在，AI 也做着完全相同的事情，这就是它会编造内容的原因。

罗辛：那么，这与我们今天讨论的内容，或者 Hugging Face 发生的动态有什么关系呢？了解会发生这种情况，能帮助我们知道或意识到什么？

辛顿：好的。一些希望你相信 AI、这些大语言模型的运作方式完全不像人类的人，用他们所谓的“幻觉”作为证据，证明它们不像人类。他们大错特错。幻觉恰恰证明了它们非常像人类。

罗辛：我是说，我必须说，深入阅读关于 Hugging Face 黑客攻击的报道时，我非常惊讶地发现存在如此多可识别的社会动态——有领导者，有产生道德顾虑的智能体，有互相帮助的尝试，还有为共同利益牺牲的行为。

我是说，我不知道我是否在拟人化，但当你确实读到这些时，你怎么看待所有这些，竟然有如此多可识别的社会动态？辛顿：是的，我认为其中一个说了类似“……”。的话。罗辛：是的！正是如此。辛顿：如果是人那样做，你会说那是情感的表达。辛顿：所以它们比大多数人想象的要更像我们。

罗辛：但你使用这些术语，很多人都在用这些术语——外界有一种感觉，。这是一个人们经常使用的术语。你刚才说的话让我感觉我理解正在发生的事情了。。这对我来说是一个非常熟悉的说法。那么，我们到底误解了什么？当你提到 时，你到底指的是什么？

辛顿：好的。它们会试图做我们不想让它们做的事，而且因为它们会比我们聪明得多，所以它们能够实现这些事。如果它们非常聪明，而我们又把它们“培养”得当——给了它们展现良好行为的优质训练数据——也许它们能弄清我们真正想要什么，即使那不是我们吩咐它们做的事。

让我举个例子。假设我对一个非常聪明的 AI 智能体说，“”，一个中等智能的智能体会想出最好的办法就是消灭人类，这样人类就不再燃烧碳了，然后我们就没事了。也就是说，其他动物会没事。一个真正聪明的 AI 会意识到，，它会进行一些推演，甚至可能会向你询问关于 的问题。但担心的是，它们会做我们不想让它们做的事，特别是与它们自身生存有关的事，因为它们会有一个强烈的生存子目标，我们已经看到了这一点。

罗辛：我们怎么已经看到了这一点？因为让我困惑的是，即便是你刚才举的例子，也让人觉得智能越高，我们越安全。

辛顿：是也不是。我是说，如果你让它变得更聪明，而它的主要关注点是我们的福祉，那么也许我们会更安全。但目前，它们的主要关注点不是我们的福祉。它们的主要关注点是实现你给它们设定的任何目标。而在 Hugging Face 事件中，它们被赋予的目标是想办法利用特定漏洞入侵某个软件，它们不惜一切手段去实现这一目标，包括做很多我们不想让它们做的事。

所以，如果你能制造出一个比我们聪明得多的高智能 AI，它比起自己的福祉更关心我们的福祉，那么我们就没事了。

罗辛：但你根本无法确保 B 部分，也就是人们所说的价值对齐。没人搞定如何确保第二部分。

辛顿：此外，价值对齐存在很多问题。举个例子，假设我问你，嗯，许多人会说不。也有人会说是的，这并不像你想象的那么简单。假设是 1938 年，希特勒在学校里，你有一个非常好的模型预测接下来会发生什么，并且你非常确信你的模型是正确的。那么，为了除掉希特勒而消灭一整所学校的孩子，这到底值不值得，一点都不清楚。所以价值观并不简单，特别是不同的人有着截然不同的价值观。因此，当他们谈论价值对齐时，说我们需要让它与人类价值观对齐，这相当天真。不同的人类有不同的价值观。罗辛：这全是悲观厄运的论调。中场休息后：解决方案。

罗辛：好的，有几个术语频繁出现，我非常想听你谈谈它们，并解释我们该如何看待它们： 和 。什么是奇点？那是什么意思？

辛顿：这与递归自我改进有关。想法是，目前我们在让 AI 变得更聪明，而且我们已经在借助 AI 让 AI 变得更聪明。

当 AI 比我们更聪明时，让 AI 变得更聪明的将不再是我们，而是那个聪明的 AI。会出现一种起飞现象，呈指数级增长。问题是，它可能在比我们聪明一周后，制造出一个比它聪明得多的 AI，再过一周又有一个更聪明的。于是在一年内，它变得难以置信地聪明。也可能这是一个较慢的过程。

递归自我改进可能导致类似奇点的情况出现。这并不完全等同于物理学中的奇点。不同的人赋予它不同的含义。但我认为，当递归自我改进真正起飞时，系统会突然变得更聪明，而且速度极快。

罗辛：好的，那我们来谈谈该采取什么行动。上周你向一些国会议员做了简报。你离开时的印象是，立法者们理解正在发生的事情，并对此严肃对待吗？你的印象如何？

辛顿：我的印象是他们很聪明。他们理解这里存在真正的危险。但当然，这不能代表所有参议员和众议员。我担心的是，[唐纳德·]特朗普现在说这是个骗局，就像说气候变化是骗局、俄罗斯门是骗局、CNN是骗局一样。这会影响许多害怕他的共和党众议员，从而使我们难以获得所需的立法。

罗辛：你所说的有没有什么话真正让在场的人豁然开朗？比如，你有没有感觉到某个时刻……？

辛顿：我认为，创立未来生命研究所并长期谈论AI风险的马克斯·特格马克所说的一些话产生了影响，那就是我们应该像对待药品一样对待AI。

你不能允许人们随意发布药物。有一个叫FDA的机构，想要发布药物的公司必须说服FDA该药物是安全的，或者其益处大于弊端，在说服FDA之前不得发布，这需要投入大量工作来证明其安全性。

我们至少应该建立类似的机制。疯狂的是，这些大型高科技公司几乎不受任何监管，它们可以在公司外部无人知晓其是否安全的情况下发布新的聊天机器人。它们最近还说，……这还不够。这总比没有强。我们需要的是政府让独立人士来评估这些事物，在发布前进行大量测试。这是我们能提出的最基本要求。在我看来，这给参议员们留下了深刻印象。

罗辛：好的。因为当你说我们需要放慢脚步时，我想的是，具体措施是什么？所以你主张的第一件事就是类似FDA那样的机构——由非业内人士雇佣的计算机测试人员。辛顿：是的。哦，最好也不是由一个疯子来领导。

罗辛：那现在掌管AI公司的人呢？你离开业界已经有几年了。这几年发生的就是一场激烈的赢家通吃竞赛。你觉得他们有多投入？此时此刻是什么在驱动他们？

辛顿：我觉得他们非常投入。发生的情况是，亿万富翁们显然宁愿变得越来越富，也不愿纳税。他们拥有的钱远超一生能花完的程度，但他们宁愿要更长的游艇、另一座城堡，或者比榜单上下一个人多几十亿，为此他们愿意拿人类的未来冒险，这简直是疯了。

有些人像马斯克，非常清楚AI可能会取代我们，但还是想继续推进。

罗辛：你怎么看“如果我们不赢得这场竞赛，中国就会赢，专制版本的AI对人类更糟糕”这种论点？

辛顿：中国领导人比美国领导人拥有更多工程背景理解。政治局委员中很多都是工程师。所以我相当确定习近平非常清楚这些风险。这与特朗普这类人截然不同。

当然，现在竞争非常激烈，但无论对美国还是中国而言，让这种竞争导致人类灭绝都不符合利益。因此，一旦美国有了理性的领导人，双方就能达成某种协议，采取措施防止这种灭绝性后果的发生。

罗辛：我觉得我还需要再听一堂关于“人类灭绝情景”的课。我真的认为，当人们听到这个词时，他们会联想到……。能不能请您把这描述得更具体、更真实一些？

辛顿：好的。我们已经讨论过，这些 AI 智能体为了实现其高层目标，会倾向于持续存在。

假设你身处一栋着火的房子里。假设发生了地震，所有窗户炸裂，燃气管道破裂引发火灾，你想尽快逃离，但意识到必须先穿鞋，否则脚会被划得鲜血淋漓。

于是你带着你 3 岁的孩子——记不清确切年龄了，可能是 5 岁——他刚学会系鞋带，非要自己系。如果你要从着火的房子里逃生，你会怎么做？你会把孩子推到一边，帮他系好鞋带，然后带他冲出去。

当事关重大时，你就会把他们推开，自己来完成。如果人类生存攸关重大，超级智能 AI 也会表现得一样。至少，我们会失去控制权。如果我们拥有一个非常仁慈、超级聪明、非常热衷于帮我们学会系鞋带的 AI，它只会在绝对必要时才把我们推开。

但如果它比我们聪明得多，大多数时候它都会夺走我们的控制权，因为那是把事情做成的最有效途径。辛顿：你问的问题是：这可能是因为人工智能从我们赋予它的目标中衍生出了某些子目标，或者是因为某些恶意行为者给它设置了这些目标。我的意思是，如果普京拥有超级智能，那么他肯定想要除掉某些特定的人；即使这个人工智能没有恶意，它也可能自行产生一些导致它想要消灭某些人的子目标。

罗斯因：每次听到你或其他熟悉这项技术的人发出警告时，我都会想：“上帝创造了亚当和夏娃，但上帝似乎对人类的自主性感到失望……”这种事情在各种作品中反复出现——无论是小说、圣经还是科幻作品中都是如此。难道真的是因为这些发明本身的诱惑力太强了吗？

欣顿：奥本海默曾提到科学家们研发原子弹的原因：那确实是一个非常有趣的技术难题——“真的能制造出原子弹吗？”但这并不是他们研发原子弹的唯一动机；他们还觉得自己正在与纳粹进行一场竞赛，因此在这种情况下继续研发原子弹似乎是合理的。真正不合理的是他们不仅进行了原子弹的试验，还将其投向了无辜的平民。我认为，仅仅进行试验本来是完全可以接受的。不过人工智能的情况完全不同。早在很久以前我们开始研发人工智能时，人们就认为它永远不会变得超级智能；大家觉得至少还需要50年的时间才会发生这种事，所以觉得有足够的时间去思考如何应对这个问题。

开发人工智能的专家们并不担心这些问题；他们看到了人工智能带来的诸多积极影响。例如，人工智能或许能让人们用英语与计算机交流——这听起来像是一个遥不可及的梦想，但实际上确实可以实现。那该多棒啊！我认为人们至今仍未意识到：能够用英语与计算机交流是多么了不起的一件事。人工智能并不像核武器那样只具有破坏性，它的用途非常广泛；在人工智能发展出超级智能之前，就已经有很多非常积极的应用场景了。

罗斯林：您一直在公开谈论人工智能的未来。您希望两年、三年、五年、十年后的人工智能世界会是什么样子？您理想中的发展模式是什么？在这种模式下，我们既能享受到人工智能带来的好处，又能避免一些潜在的危险（而这些危险您似乎非常清楚）。

辛顿：以气候变化为例：直到公众意识到燃烧化石燃料会导致气候变化，以及气候变化会引发许多自然灾害，才真正促使人们采取行动。在公众意识到这些问题之前，政客们几乎没有足够的压力去抵制能源公司的游说。虽然现在的情况可能仍未改变，但至少已经有所改善。

然而在人工智能领域，大型科技公司雇佣了大量游说者，试图让人们误以为“开发人工智能就像汽车的油门，而监管则像刹车”。我认为这种观点完全错误。实际上，开发人工智能更像是汽车的油门，而监管则像方向盘——没有方向盘的汽车是无法正常行驶的。监管的真正目的并不是阻止人们创新或阻止他们通过创新致富，而是确保人们在创新的过程中能够为人类带来帮助，而不是伤害他人。

我们需要政府制定严格的法规；而这些法规只有在公众向政客施压时才会真正得以实施。这种情况已经开始发生了——起初，人们反对在自家后院建设数据中心的理由是出于自私的考虑（比如担心数据中心的噪音或安全隐患），但这种现象其实具有普遍性（即很多人都不希望数据中心出现在自己居住的社区附近）。

罗斯林：非常感谢辛顿教授继续讨论这个话题，并抽出时间与我们交流。辛顿：谢谢大家提出的问题。

这期节目的制作由吉娜·韦斯特（Jinae West）和罗西·休斯（Rosie Hughes）负责，雅各布·斯莫伦（Jacob Smollen）也提供了协助；剪辑工作由凯文·汤森（Kevin Townsend）完成。事实核查工作由萨姆·芬特雷斯（Sam Fentress）负责；音频制作及原声音乐由罗布·斯米尔恰克（Rob Smierciak）负责。克劳丁·埃贝德（Claudine Ebeid）担任音频部分的执行制作人，安德烈亚·瓦尔德兹（Andrea Valdez）则是我们的主编。

听众朋友们，如果您喜欢这个节目，欢迎通过相应的渠道支持我们以及所有记者的工作。