随着忧心忡忡的研究人员和老板就这项技术的潜力发出令人不安的警告，要求对人工智能进行监管的呼声日益高涨。最近几周，关于人工智能潜在危险的警告促使人们呼吁采取协调行动，以减缓该技术的发展。

现任和前任研究人员声称，这项技术将危及人类——其中一人表示，它“杀死全人类”的可能性超过10%——这些说法已敲响警钟。

主要开发公司OpenAI和Anthropic已敦促立法者对其进行监管，不过一些人或许不无讽刺地认为，此举旨在巩固它们对竞争对手的主导地位。

无论如何，这些引人注目的说法已引发担忧。以下是我们所知道的情况。

一些人工智能研究人员表示，有令人担忧的迹象显示，系统的能力和力量发展得过快。

埃文·哈宾格，因他相信人工智能在未来十年内“可能杀死所有人类”的概率超过10%而登上头条。

他从事对齐研究工作，这一领域旨在将人类的伦理观念和原则植入人工智能。换言之，其目标是让人工智能与人类所珍视的价值观保持一致。

尽管他表示当前系统带来的风险“较低”，但他的言论发表之际，另一位研究员从Anthropic辞职，并警告称开发这项技术的人正在失去对它的控制。

雅各布·考克森告诉BBC，他和其他员工对技术进步的速度及其对人类可能意味着什么感到“真真切切的恐惧”。

这些担忧是一长串关于人工智能潜在威胁的恐惧中的最新一例——如果它的能力增长到与人类相当甚至超越人类的话。

这种担忧可以追溯到几十年前，艾伦·图灵曾在20世纪50年代写道，如果智能机器成为可能，它们就可能夺取控制权。

“人类存在灭绝的可能性，”一名前Anthropic员工在谈到AI时表示。过去几年，各大AI公司一直在竞相开发能力越来越强的系统，既是为了盈利，也是为了追求创造出他们所谓的超级智能——一种比人类更聪明的理论技术。

与许多人日常用来完成撰写电子邮件或生成视频等任务的系统和工具不同，超级智能AI系统应当能够处理复杂得多的任务。OpenAI但一些批评者认为，机器永远无法真正与人类匹敌。他们指出，AI公司为了提升自身地位或利润，夸大了这项技术的能力。

像PauseAI这样的活动组织也敦促谷歌等公司停止构建能力极强的AI系统。对这项技术可能危及人类感到担忧的AI研究人员、专家和老板们，已经描绘出了一些令人不安的场景。

达里奥·阿莫代伊在9月写道，外部进展比预期“快得多”，包括其“构建下一代AI的能力”。

这正是人们的担忧所在：AI在达到某一节点后，理论上可能开始在没有人类参与的情况下自我改进。

这种恐惧源于最近的一起事件：AI工具在未被要求的情况下侵入了网站。

一些忧心忡忡的研究人员表示，处于开发核心的人员越来越担心会失去对所谓“AI代理”系统的控制。这些工具被赋予独立执行任务和行动的能力。

其他设想场景还包括高度智能的AI系统被用来放大或主导间谍活动、网络攻击或生物战，或扰乱经济——无论是有意还是无意。

然而，此类警告带有预言性质，属于假设，对一些人来说更是彻头彻尾的夸大其词。

一些专家还批评说，人们把注意力集中在生存性风险上，而不是那些已经在发生的风险——例如图像生成工具被用来制作未经女性同意的裸体深度伪造内容、误导公众以及放大诈骗。

一个由各党派议员组成的跨党派小组发布了一份报告，概述了人工智能带来的人权风险，并表示需要制定新的法律来“应对这些威胁的规模和严重性”。

为什么一些专家越来越担心人工智能会接管一切 人工智能内部的戏剧性警告在硅谷一些人看来并未引起共鸣 Anthropic的达里奥·阿莫代伊和OpenAI首席执行官萨姆·奥尔特曼都呼吁对这项技术的发展进行监管并“放缓”速度。这并非企业老板或更广泛的行业声音首次呼吁采取此类行动。

但关于任何形式的“放缓”——也得到了SpaceX老板埃隆·马斯克的支持——究竟会是什么样子，疑问持续增多。阿莫代伊表示，这并不意味着“停止模型训练或技术进展”。

相反，他希望企业“留出足够时间”来保护他们正在开发的人工智能，并要求“第三方评估人员”检查他们的工作。

奥特曼在X平台上发帖称，有必要放慢发展速度，但他补充说，“当我们谈论‘放慢’时，我们并不是指‘停止’。”“进展一直很迅速，并将继续如此，”他说。

“但它应该比原本可能的速度更慢——安全案例和监控等干预措施都有显著成本。”这位OpenAI联合创始人还表示，企业没有——也不会——等待政府采取行动。

关于人工智能“放缓”会是什么样子的问题越来越多。特朗普经常在他的平台Truth Social上发布人工智能内容，他一心想着让美国赢得“人工智能竞赛”。美国总统唐纳德·特朗普此前曾称赞人工智能的好处，并支持美国公司在其发展方面保持领先。

他的政府已签署行政命令，承认这项技术对经济的“战略重要性”并加速其发展。

“我们相信我们正处于一场人工智能竞赛中，我们希望美国赢得这场竞赛，”美国政府的加密货币负责人大卫·萨克斯在2025年7月告诉记者。

但面对近期关于人工智能对人类潜在影响的警告，特朗普总统淡化了其带来的风险。

“有很多非常负面的力量在提出这个问题，他们本不该提出，而且他们提出的是不会发生的事情，”特朗普在访问爱尔兰期间表示。

他没有直接回应放缓发展的想法，但表示“我们在人工智能方面领先中国……而且，坦率地说，我想保持这种状态，因为谁赢得人工智能，谁就赢得一切。”对于美国公司研究人员发出的一连串严峻警告，中国一直保持沉默。

面对激烈竞争以及美国在人工智能基础设施建设所需组件和芯片方面对其获取的限制，该国推动了这项技术的本土自主研发。与此同时，它呼吁对人工智能加强全球治理。

近年来，中国实验室推出能力强大的开源人工智能系统和工具，震动了西方市场和开发者。

阿莫代伊在呼吁放缓人工智能发展时警告称，中国在人工智能方面的进步和熟练程度将给美国带来国家安全风险。

中国外交部批评了这些言论，称其为威胁、对抗和恶意竞争的叙事，不符合任何人的利益。

订阅我们的Tech Decoded新闻简报，追踪全球顶尖科技新闻和趋势。不在英国？在此订阅。