最近，全球最大人工智能实验室的研究人员对发展速度之快发出的警告，引发了人们对这项技术可能灭绝人类的恐慌。这些警告基于一个前提：在激烈竞争以及中美较量的推动下，各实验室正全速冲向能力将远超人类的超级智能模型。

但为天主教会提供人工智能咨询的神父保罗·贝南蒂认为，对超级智能的含糊其辞，转移了人们对一个必要问题的关注：如何约束那些正在构建这项技术的公司，需要进行公开辩论。他说，通过把问题描述得过于复杂、仿佛只有他们才能解决，大型实验室将其他所有人排除在了对话之外。

“伦理不能属于公司董事会的东西。它必须在公共广场的辩论中加以平衡和缓和。”贝南蒂对《连线》表示。“我们需要民主监管。”在安全警告发布后不久发表的一篇文章中，Anthropic首席执行官达里奥·阿莫代伊呼吁新的AI模型在发布前接受强制性的第三方评估，并对“蒸馏”进行某种打击。蒸馏是指竞争对手实验室利用专有模型的输出训练自己的AI。还有人主张全面禁止递归自我改进，即AI利用其先进的编码能力帮助开发自身的未来迭代版本。

贝南蒂对限制AI开发方法兴趣不大——他担心那会扼杀创新——他更感兴趣的是建立标准，确保模型不会脱离人类控制。他说，无论这些标准采取何种形式，都不应由实验室来设计。

贝南蒂说：“前沿实验室的叙事是出于自身利益，是为了获得或维持市场地位。”他说，当一小群公司决定一个行业的运营规则时，“这有一个非常明确的名称：卡特尔。”贝南蒂说，由于经济、政治和个人激励因素相互交织，人们很难判断关于最新和未来人工智能模型能力的宏大声明应该被多认真地对待。

尽管OpenAI和Anthropic都支持放缓开发速度的呼吁，但它们也在准备上市，无论谁占领市场，都关系到数十亿美元的利益。美国和中国之间的敌意也使情况变得更加复杂，而最先进的人工智能模型正在这两个国家开发。

Anthropic拒绝置评。OpenAI和谷歌DeepMind没有回应置评请求。

贝南蒂还对人工智能行业某些角落谈论超级智能的方式提出异议，那种口吻带着通常只留给神的敬畏：将其描述为超越我们理解的精密复杂、实际上无所不能。（OpenAI首席执行官萨姆·奥尔特曼曾说过，他渴望构建一种“天空中的魔法智能”。）贝南蒂说，这种表述可能会扭曲关于这项技术的讨论。

“我们讨论的是某种‘事物’，还是某种‘人’呢？这才是真正的区别所在。这无关信仰，而纯粹是数学问题，”他说。“我们并不是在创造某种新的‘神明’；我们只是自欺欺人地认为，除了统计计算之外，还存在着其他什么。”

本安蒂指出，人工智能的出现通过引发关于“人类与机器之间的本质区别”以及“如何保护后代免受技术负面影响”的问题，有可能为宗教在公共辩论中创造新的角色。“应对时代的挑战是教会使命的一部分。”虽然本安蒂属于神职人员，但他并不代表天主教会的最高权威机构——圣座；他只是以哲学、神学和技术研究者的身份为教会提供咨询。本安蒂告诉《WIRED》杂志，他利用人工智能为大学生开发教学工具和资料，但拒绝透露教皇利奥十四世是否使用过这项技术（他的工作人员表示他受有“保密誓言”的约束）。今年5月，教皇利奥十四世发布了他的首份通谕，这封通谕将宗教教义应用于当代问题，并阐明了教会的立场，其主题正是人工智能。

在这封信中，教皇警告人们要警惕人工智能行业所秉持的那种技术官僚主义逻辑——这种逻辑将“效率视为价值的最终衡量标准”，并将人类视为“需要被优化”的对象。他还呼吁敌对的国家与人工智能企业之间展开国际合作，这些国家和企业应当摒弃“谋求地缘政治或商业主导地位的欲望”，确保人工智能技术的发展能够服务于人类的共同利益。在信中有一段极具前瞻性的内容：教皇警告说，“人类有可能成为自己成就的受害者”。Benanti指出，围绕超级智能和存在主义风险的争论可能会让人们忽视这封通谕中提出的目标；因为这些争论会促使人们将技术发展的方向决策权交给少数数学家、计算机科学家以及大型实验室的高管们。

“首先，我们必须为这种技术发展设置‘刹车’，同时确保人类能够真正掌控这台‘机器’，”Benanti说道。“这意味着人类必须在对技术进行管理的过程中占据主导地位。”