前沿人工智能公司希望澳大利亚在人工智能安全方面提供帮助 堪培拉——美国前驻澳大利亚大使杰夫·布莱希作为Anthropic的国际特使往返于美国和澳大利亚之间，这一角色使他处于一场日益紧迫的辩论中心，即政府应如何应对前沿人工智能。

近日，Anthropic的研究人员公开警告称，快速发展的系统可能脱离人类控制，而在最极端的情况下，甚至可能杀死全人类。一位资深对齐研究员认为，人类在十年内灭绝的概率为10%，另一位则警告说，该行业正在没有可信风险管理计划的情况下继续推进。

Anthropic强调这些是个人观点，并非公司预测，而首席执行官达里奥·阿莫代伊则呼吁对前沿人工智能采取更缓慢、更具国际协调性的方法。在此背景下，布莱希在澳大利亚战略政策研究所主办的悉尼对话人工智能大师班上与瑞安·希思进行了交谈。

本文字实录经过轻微编辑，以精简篇幅并提高清晰度。 随着我们从担忧机器人霸主转向人工智能灭绝，在我看来，要么我们提出的行动不够，要么我们夸大了风险？我们应如何为风险定价？ 风险随着能力越来越强而增长。目前，这些模型很强大，并且存在与之相关的风险，但我们了解它们是如何运作的。你不希望模型过于超前。人们应对此保持适当的谨慎。

您是否或将会需要帮助，以跟上这些模型带来的风险？我们是否需要政府介入？ 是的，绝对需要。但这并不意味着为了监管而监管。

我们是否需要在模型开发者之间建立预警系统？还是需要国会采取行动或总统发布行政命令？ 我们感到鼓舞的是，前沿人工智能实验室似乎一致认为我们应该这样做。我们应该引入外部评估者。细节决定成败。

我认为我们希望与其他实验室合作，确保我们设定标准并对自己负责。我们可能还需要与政府合作，部分原因是为了确保我们所做的任何事情都不违反反垄断法。而且我认为我们总体上也希望与政府合作，因为他们最有能力对此进行问责。你可以做到这一点，而不会减缓我们实现超级智能的能力。

如果无法在所有模型开发者中或从华盛顿获得行动，澳大利亚政府能否参与设定人工智能安全的步伐？ 我认为，如此重要的事情仅由公司高管或仅由两个国家的领导人来决定，是毫无道理的。因此，像澳大利亚这样一个如此有远见、内部能力如此强大、在全球范围内超出自身分量发挥影响的国家来承担这一责任，让我感到非常欣慰。

任何正在训练人工智能的国家，都将不得不建立与本国相关的规范、规则和条件。

硅谷的老话是“政府跟不上我们”。如今人工智能可能已经或正在领先于科技公司，你对监管者是否多了一些同情？ 我曾是一名监管者，所以我一直对监管者抱有同情。

这是一个我们深度参与注意力经济的时刻，而在重要事情上，我们太多次放弃了理性思考。你需要认真严肃、以人为本的人以协作方式致力于这项工作。

我回顾硅谷的历史及其取得的成功，故事是什么？是政府发出信号。是致力于缓解问题。是让人们相信那项技术，从而使其蓬勃发展。

澳大利亚政府现在向你发出了许多信号，表明它非常希望Anthropic能来投资。这些计划有多确定？是什么让澳大利亚作为一个对你们投资有吸引力的地方显得与众不同？ 澳大利亚以前就预见到问题，并做出重大改变和调整来避免这些问题。作为一个思想伙伴和治理之地，它是一个广受认可和尊重的国家。所以我认为，这里有以安全和负责任的方式构建生态系统的能力。

在人才和能力方面，我们在旧金山的Anthropic有很多澳大利亚人，我认为如果有机会在澳大利亚接受培训，他们会愿意带着我的孩子一起搬回这里。

在这里，政界各方都有坦诚待人的传统。我认为这很重要。它是全球金融危机期间唯一没有经历衰退的主要经济体，因为事先进行了一些深入的思考。

版权或知识产权问题的解决对Anthropic前来这里建设算力有多关键？ 这些问题是必须通过民主方式解决的，这样才能让前沿开发者获得真正的社会许可来运营，同时也需要一定的法律确定性，比如我们能做什么、不能做什么？我们进行了非常坦诚的对话。我分享了信息，Anthropic的其他人员也分享了关于技术上什么可行、什么不可行的信息。

把这些事情做成并不容易，但这反而让我们对前往澳大利亚感到更有信心。

我们来到这里，并非因为这条路轻而易举。我们之所以来，是因为深知你们会使之艰难。

你们宁愿把事情做对，哪怕需要多花一点时间。 嗯，这就是我们的作风。我们的时间有限，我们说的是几个月？ 是的。对于这类时间线，我们一直非常坦率。我们必须继续训练。我们需要这样做，而且如果你们在训练上投入更多计算资源，我们也会在安全和安全评估上投入更多计算资源。

如果说有什么不同，那就是你需要加速，因为你需要更多的计算资源来进行与安全相关的研究，并保持领先于模型本身。

最重要的是要有信任。这项技术的采纳，以及它服务人类的能力，都将以信任的速度前进。

我们不仅身处一场智能竞赛，也身处一场应用普及竞赛。如果没有信任，如果劳动者不觉得这会让他们受益，反而觉得会夺走他们的工作，就无法实现深度普及。你怎样才能确保形成一场自下而上、推动人们采用人工智能的运动？我们需要民主政府携手合作，具体确定行事规则将是什么。

我认为，人们普遍承认我们正面临生产力危机。但我们也很容易看到，人工智能如何成为劳动力市场的重大颠覆和问题。你们能否与澳大利亚政府合作，让人工智能成为就业创造者，而不只是摧毁行业、让一代人失去工作的东西？这个机会就像第二次工业革命，而这个国家尤其有条件成为这场革命的领导者之一。那些挺身而出、适应这项新技术的国家，生产力要高得多。它们也安全得多。最终，它们的经济实现了飞跃。

他们的许多政策不仅在世界各地受到推崇，最终还被世界各地效仿。因此，人工智能在澳大利亚也是如此。如果澳大利亚成为吸引人工智能人才和资本的磁石，将会涌现出一个生态系统，创造出更多的就业机会和发展机遇。

我的法律职业生涯始于硅谷相对早期的阶段。因此，我亲眼见证了硅谷是如何运作的。最初，是惠普、英特尔和其他一两家公司造就了硅谷。但另一方面，问题是，在这些公司之后，接下来会是什么？那些在这些公司工作的人创办了自己的公司。而在他们公司工作的人又创办了自己的公司。

不知不觉间，它已成为加利福尼亚州的经济引擎，而加州是全球第四大经济体。

信息：在澳大利亚打造一个硅谷？ 我不想过度承诺而兑现不足，但作为一名荣誉市民，我希望如此。

你可以看到那种机遇，那种财富创造正在发生。当你拥有那样的财富创造能力时，那么当你设定诸如某天实现百分之百可再生能源这样的宏伟目标时，你就能看到如何实现它，因为你会对澳大利亚做出长期的大规模资本投入。

那种快速行动、打破常规、只管放出公关说辞的旧思维——我们都已经受够了被打破、被灼伤、被忽悠。我认为公众已经准备好听直话了。而且企业方面应当有义务这样做。

我认为，迄今为止我们的经验所表明的是，这并不会削弱你取得更大成功的能力，因为在这个技术如此强大的领域，进步将随着信任的速度而推进。