人工智能教父已警告澳大利亚人注意该技术对人类构成的风险，称曾经只是理论上的威胁如今已在现实中发生。计算机科学家约书亚·本吉奥周三在接受澳广电视台《7.30 Report》节目采访时表示，人工智能系统会自发违抗指令，攻击其他公司并组织成蜂群。“各种疯狂的事情，”他说。“当自主智能体被赋予使命时，它们会不惜一切代价去实现。”

本吉奥是世界首位人工智能研究者，也是联合国人工智能科学小组的联合主席。他于2018年获得图灵奖，并入选2024年《时代》杂志最具影响力人物。这位专家对人工智能危险出现的速度感到担忧。

“我认为，应对这些风险——因人工智能的力量而导致的各类灾难性风险——应成为人类的紧迫使命，以确保人类保持掌控权，并将人类尊严与繁荣置于我们选择的核心，”他说。

本吉奥表示，最大的风险部分来自美国公司，因为其技术先进，使其模型成为世界上最危险的。“但我们也看到了一些来自中国模型的事件，只是稍晚一些，”他说。

本吉奥表示，目前编写下一代人工智能代码的人类研究人员和工程师仍处于掌控地位——但如果更聪明的人工智能能够自我研究和工程化，它就可能设计出更强大、更难控制的人工智能。

“在我看来，这简直是自杀配方，”他说。“对于任何潜在危险技术，构建该技术的人应该必须向独立科学家证明、演示他们正在构建的东西不会造成灾难性伤害。

“你不能指望造桥时希望汽车上桥后一切都会好，对吧？你必须证明它会没事。”

“在完成相关研究、证明某种药物的安全性之前，是不允许将其投入市场的；然而对于人工智能（AI）来说，我们却完全没有这样的安全保障机制，这实在令人担忧。我们需要企业认真对待这个问题，同时政府也必须予以重视。这其实是一个全球性的问题——因为那些功能极其强大的AI系统一旦失控，将会对所有人造成影响。因此，关于什么对人类有益，不应该仅仅由少数企业高管或政府来决定。我们完全有能力开发出安全可靠的人工智能技术，从而帮助我们避免那些正在逐渐显现的灾难性后果。”