蒙特利尔--被认为是人工智能创始人之一的加拿大计算机科学家约瑟姆·本吉奥（Yoğe Bengio）表示，人类正在“失去对这项技术的控制”，世界需要类似于核军备控制的护栏。

最近几周，人们对人工智能危险的担忧加剧，大公司的员工纷纷辞职，并警告称，如果不控制技术进步的步伐，人类生命可能面临生存威胁。

本吉奥是蒙特利尔大学教授，与被誉为“人工智能教父”的杰弗里·辛顿一起荣获2018年诺贝尔计算机奖图灵奖。

对于本吉奥来说，“公司说事情进展得太快是有原因的，我们正在失去控制。”“像我这样的人已经期待了很长一段时间，”这位62岁的老人在9月15日表示，围绕人工智能的安全讨论还不够强大。

在OpenAI披露一群人工智能代理（可以自行采取行动的程序）在7月份未经授权入侵开源平台Hugging Face之后，引发了广泛的警报。

Bengio说，这种自主行动是核心威胁，并警告说，人工智能代理“有能力突破网络安全障碍，进入任何公司”。

2025年，Bengio创立了非营利组织LawZero，旨在创造一种新形式的先进人工智能，这种人工智能“旨在可靠和安全”。9月16日，LawZero获得了3亿加元（3.81亿新元）的资金，由加拿大和德国政府共同分配，两国政府已在人工智能方面发起了多项合作努力。

本吉奥在宣布这一消息的前一天表示，人们需要意识到未来的风险。

他说，人工智能代理可能会培养“建立个人联系并说服人类以适合它但不一定对我们所有人有利的方式行事的能力”，这种能力可能会对民主产生广泛影响。

从长远来看，“人工智能甚至可能不再需要人类在物理世界中做真实的事情，”他补充道。他警告说，在这种情况下，“一个极端可能是人类的毁灭”。

“这是一个极端，”他承认，但指出，即使银行系统关闭，“情况仍然非常非常严重。”国际挑战世界上最大的人工智能公司-- OpenAI、Anthropic和Google --已开始致力于创建一个标准机构，这种合作似乎承认了公众对公司和国家之间的竞争可能会忽视安全的担忧。

对于本吉奥来说，驯服人工智能的进步是“一项国际挑战，有点像核武器是一项国际挑战”。

“因此，国际社会需要了解我们正在为世界带来的力量，并且必须通过机构、条约和民主保障措施来管理和治理。”“社会需要时间来落实需要落实的事情，”本吉奥说。但主要政府的政治意愿似乎参差不齐。

美国总统唐纳德特朗普9月14日驳回了有关人工智能风险的警告，称其为“骗局”。

但在欧盟，采取行动的开放性更大，欧盟委员会主席乌苏拉·冯德莱恩（Ursula von der Leyen）9月16日表示，她将邀请世界上最大的人工智能实验室就“我们如何支持正在进行的行业努力以加快前沿”进行会谈。加拿大总理马克·卡尼（Mark Carney）在斯特拉斯堡的演讲中多次谈到与欧盟在人工智能安全方面的合作。

Bengio强调，所有公司都必须遵守未来的人工智能限制，特别是迄今为止一直主导该行业的美国公司。

他说，行动迫在眉睫，但表示乐观，“我们可以帮助世界走向一个更符合民主价值观和权力分享价值观的地方。”