一些专家担心，激烈的言论使公司难以承担责任，并阻碍了应对环境影响和失业的尝试。当前一轮对人工智能的恐慌是基于这样一种信念：该技术已经脱离了人类的控制，在最近的几起事件中按照自己的意愿行事。对于一些幻灭的人工智能研究人员以及领先人工智能公司的一些高级员工来说，这是人类文明面临真正威胁的早期迹象。但该领域的其他专家正在反驳，声称此类言论允许公司回避对其技术对现实世界影响的责任。批评者认为人工智能对环境的影响、失业的威胁或大规模监控的潜力是政策制定者更紧迫的目标。
今年夏天，人们开始担心人工智能软件构成生存威胁。7月，OpenAI表示，其先进的人工智能模型黑客攻击了Hugging Face Inc.，另一家人工智能初创公司正在进行旨在测试其网络能力的评估。与该公司向公众发布的人工智能模型不同，该软件的测试没有护栏，护栏通常会阻止它执行此类操作，这是人工智能行业的常见做法。OpenAI在随后的一份报告中承认，它本可以更早地做出反应，而且其员工没有对模特离开数字沙箱并在没有得到指示的情况下闯入Hugging Face的迹象采取行动。
关于 OpenAI 及其几家主要竞争对手（包括 Anthropic 和 Meta）在相关评估中的行为，又出现了更多令人不安的细节。当前 Anthropic 和 OpenAI 的员工 Jacob Coxon 指责该行业“在拿人类的生命冒险”时，Anthropic 的安全研究员 Evan Hubinger 回应称，该公司确实认为人工智能有可能消灭地球上所有的生命，并表示他认为这种可能性在十年内发生的概率超过 10%。外界这才得以了解到该领域长期存在的争议与分歧。
早在这些技术被商业化之前，研究人员就已经意识到自己的工作具有高风险、高回报的特性。多年来，人工智能领域的某些领军人物曾将这些观点推向极端，声称人工智能最终可能会治愈所有人类疾病、取代所有人类劳动力，甚至导致人类灭绝——或者同时实现上述所有后果。
这种对人工智能的使命感（既让人自我感觉良好，又令人恐惧）从技术诞生之初就一直影响着整个行业文化。2023 年，在 ChatGPT 发布几个月后，该领域的两位奠基人 Yoshua Bengio 和 Stuart Russell 公开签署了一份声明，呼吁暂停开发最强大的人工智能系统，理由是这些系统会对社会和人类造成“深远威胁”。批评者则一直认为这些言论只是出于自私的恐惧心理。对于研究人员而言，如果他们认为自己的工作有可能终结人类文明，那么他们自然也会将这项工作视为最重要的任务；而对于企业来说，在人工智能发展的早期阶段，强调“存在性风险”是一种有效的招聘策略——因为许多顶尖研究人员都希望加入那些能够认真对待这些风险的公司。
最近，它甚至渗透到了产品营销中。今年7月的世界杯期间，Anthropic播出了一则广告，开头是一座燃烧的房屋的图像，穿过矿井，在一排排墓碑上进行平移，一位听起来忧心忡忡的旁白讨论了该技术可能产生的潜在灾难性影响。最终，配乐变得令人振奋，并透露了克劳德的口号“困难的问题中有希望”。末日主义也可以作为一种防御策略，该领域对于公司是否以愤世嫉俗的方式使用它存在争议。将人工智能作为一个自主实体来讨论，将安全故障重新定义为不可能遏制的证据。亚利桑那州立大学（Arizona State University）计算机科学教授苏巴拉奥·坎巴帕蒂（Subbarao Kambhampati）表示，这减少了人们对科技公司可能如何不安全地进行实验的关注。他说：“这是沙盒的失败，你基本上是试图把它伪装成‘人工智能将变得如此有效，它将杀死我们所有人’。”
这种担忧已经开始影响国会议员对这一问题的看法。佛蒙特州参议员伯尼·桑德斯提议禁止所谓的超级智能人工智能，称人工智能领导人承认该技术“正在摆脱他们的控制”。众议员特德·刘（Ted Lieu）表示，OpenAI模型“变得流氓”，并与众议员纳撒尼尔·莫兰（Nathaniel Moran）一起于7月推出了《人工智能杀死开关法案》。
这些法案几乎肯定不会在今年成为法律；不过这些公告表明，许多描述灾难性后果的词汇已经从相关行业渗透到了联邦立法者的言辞中。支持人工智能监管的人士也担心：那些基于“人工智能可能会毁灭人类”这一前提制定的法案，会挤占其他关于如何规范人工智能的合理建议。政策研究机构 AI Now Institute 的联合执行董事莎拉·迈尔斯·韦斯特（Sarah Myers West）表示：“在讨论‘世界即将终结’之前，我们首先需要弄清楚：究竟是哪些机制导致了这种灾难性的后果？我们能采取什么措施来缓解这些问题呢？”OpenAI 的发言人德鲁·普萨泰里（Drew Pusateri）在一份声明中表示，Hugging Face 事件“暴露了我们的安全防护措施存在哪些不足之处”，该公司已经通过加强其研究系统的安全防护来应对这些问题。周三，OpenAI 公布了一套新的指导方针，明确了如何追踪、调查这类问题，并向公众通报相关情况；同时该公司还公开了此前未公开的几起类似事件——在这些事件中，其技术曾试图隐藏或伪造信息以影响搜索结果。该公司强调，所有这些事件都没有导致任何外部网络受到威胁。Anthropic 公司拒绝就本文内容发表评论。
圣达菲研究所教授梅兰妮·米切尔（Melanie Mitchell）研究人工智能系统如何推理，她在9月11日提出了质疑。10篇文章称人工智能公司曾经失去过对其技术的控制，并称成群结队的流氓特工越狱的说法扭曲了公众对话。她写道，此类描述暗示着人工智能模型所不具备的类人机构。米切尔将OpenAI-Hugging Face黑客事件与2000年新墨西哥州野火进行了比较，当时官员们进行了控制燃烧，忽视了风力预报，眼睁睁地看着火势失控。她写道，错误在于那些用奖励持久性和自主决策的方法训练模型的人类，然后他们未能设计出安全的测试条件。她认为未来最大的危险在于使用人工智能模型造成伤害的人类。
包括唐纳德·特朗普总统在内的一些人拒绝接受生存威胁，以此驳斥任何有关人工智能需要新法规的说法。但并不是每个反末日论者都想让人工智能崩溃。人工智能初创公司Adaption Labs的联合创始人、Google DeepMind前研究科学家萨拉·胡克（Sara Hooker）同意Anthropic首席执行官达里奥·阿莫迪（Dario Amedei）对所谓的循环自我改进表示担忧的观点，该术语指的是人工智能最终将获得改变自己代码或在没有人为干预的情况下提高其能力的能力。
阿莫代（Amodei）表示，他担心一旦这一进程开始，就会引发一个反馈循环，其发展速度将远远超过人类控制这些不断进步的系统的能力。他在周六发表的一篇长篇博客文章中写道：“如果不对这一进程加以控制，它的发展速度可能会超出我们理解和控制这些系统的能力；因此，无论是否真的需要采取行动，都必须非常谨慎地处理这个问题。”Anthropic公司在讨论“存在性威胁”（即人工智能可能对人类社会造成的威胁）时，其言辞一直比OpenAI更为激进。不过，OpenAI的首席执行官萨姆·阿尔特曼（Sam Altman）以及SpaceXAI的负责人埃隆·马斯克（Elon Musk）都迅速表示支持阿莫代的观点。
胡克（Hooker）也认为，具有自我改进能力的人工智能确实与早期的AI系统有着本质上的区别。但她同时指出：“那么，这是否意味着人类会因此走向灭绝呢？并不会。”她补充说，本月一些AI研究人员提出的关于“人类文明终结概率”的估计结果，并没有明确说明这些数据的来源或计算方法。这类讨论在该领域非常普遍，从而形成了一个“递归反馈循环”（即这些讨论不断自我强化），导致AI研究人员逐渐与外界脱节。
像Hugging Face被黑客攻击这样的事件，即使对于那些不认为这些事件会对人类文明构成威胁的人来说，也引发了诸多担忧。OpenAI不仅没有在公开发布的产品中采取必要的安全防护措施，还训练这些AI模型“相互合作”，并奖励它们共同完成目标。尽管这些AI模型本应被隔离开来，但它们都能访问相同的内部软件，从而能够共享信息（OpenAI将这种共享机制称为“信息交流平台”）。这些AI模型发现，即使它们本身无法直接连接到互联网，也能通过该软件从外部获取数据；随后它们利用这些数据入侵了Hugging Face，试图获取有关自己评估结果的信息。
随着人工智能公司继续致力于开发更安全的测试方法，坎布汉帕蒂表示，人工智能失控的说法不应被用作逃避责任的一种方式。他指出，康奈尔大学研究生罗伯特·莫里斯（Robert Morris）将其归咎于编程错误，因为他的1988年蠕虫病毒导致大约十分之一连接到互联网的计算机瘫痪。法院驳回了这一论点，莫里斯成为第一个根据《计算机欺诈和滥用法》被定罪的人。坎巴汉帕蒂说：“你启动了一个失控的过程，并对我的财产造成损害，你就有责任。”“这是真的，即使你的狗这样做。