随着人工智能系统变得越来越强大，关于它们可能伤害人类的方式的警告范围从今天已经出现的危险到对未来生存灾难的担忧。

上周，Anthropic员工雅各布·考克森（Jacob Coxon）公开从这家领先的人工智能公司辞职，警告开发人员正在构建可能最终摧毁人类的系统。

科克森在美国社交媒体平台X上发帖称：“人工智能的开发者真诚地相信，到本世纪末，它可能会杀死我们所有人。”“他们正在直奔自我完善的超级智能，并用我们的生命来赌博。”不久之后，领先的人工智能高管支持减缓日益强大的系统开发并加强保障措施的呼吁，将对人工智能开发速度的担忧带到了公众辩论的焦点。

白金汉大学计算、法律和心理学学院院长Harin Sellahewa表示：“人工智能研究人员最近警告说，先进的人工智能系统可能对人类构成灾难性风险，应该得到认真对待。”

塞拉赫瓦表示，虽然关于高度先进的系统本身是否会成为威胁的争论仍在继续，但更紧迫的担忧是人们使用越来越强大的人工智能造成大规模伤害的可能性。

“先进的人工智能可能会放大现有的威胁，例如网络攻击、错误信息、自主武器和其他恶意活动，”他说。“出于这个原因，与技术本身以及人类选择使用技术的方式相关的风险值得仔细关注和适当的保障措施。“以下是人工智能可能造成伤害的一些方式人工智能正越来越多地融入军事系统，它可以分析大量战场信息、识别物体、协助瞄准并帮助操作日益自主的平台。

其在战争中的应用引发了人们对机器生成的建议出现错误、监督不足或被刻意用于加速致命决策时可能产生后果的担忧。以色列在加沙战争中使用的AI辅助系统受到了特别关注。

联合国特别报告员弗朗西斯卡·阿尔巴内塞在其报告《从占领经济到种族灭绝经济》中描述，以色列军方使用了包括“薰衣草”（Lavender）和“福音”（Gospel）在内的AI系统，以及一个名为“爸爸在哪里？”（Where's Daddy?）的系统，来处理信息并生成或追踪潜在目标。

该报告还提到了“尼米布计划”（Project Nimbus），这是以色列在2021年授予谷歌和亚马逊的一份价值12亿美元的云计算合同，并指出科技公司在为以色列提供基础设施和服务方面发挥了日益扩大的作用。

阿尔巴内塞的报告还指出，与以色列的合作早于2023年10月的帕兰提尔公司（Palantir），在加沙战争爆发后扩大了与以色列政府之间的合作。

人权观察组织在六月警告称，各国军队正越来越多地将人工智能纳入生死攸关的决策中，包括目标选择和武器选型。

该组织援引报道称，美国部队在2026年美国主导的对伊朗打击行动中，使用了与Anthropic公司的Claude集成的AI赋能系统“Maven Smart System”，以帮助识别优先目标并选择弹药。

Anthropic公司本月表示，该公司还检测到也门北部的用户正在使用Claude支持先进武器开发。

该公司未指明这些用户是胡塞武装，但称该活动起源于胡塞武装控制区，并包括针对一枚制导火箭和一枚射程超过2000公里（1243英里）的弹道导弹的软件工作。

网络安全是人工智能可能立即造成物理和数字伤害的最直接领域之一。

“在短期内，网络安全问题，如加速恶意软件生成或自动漏洞扫描，是最有可能的，”伯明翰大学计算机科学学院助理教授Ruizhe Li说。

Li说，大型语言模型在代码库和软件文档中进行了广泛的训练，使它们能够高度理解和生成计算机代码。

他说：“因此，降低复杂网络攻击的技术底线是一个切实的、近期的问题。”

人工智能可以帮助用户找到软件漏洞，编写恶意代码，进行侦察和自动化部分网络操作。

Anthropic在9月份的威胁报告中表示，它已经挫败了在网络行动中滥用Claude的企图，包括涉及网络钓鱼、恶意软件和试图破坏计算机系统的活动。

针对医院、电网、供水系统、电信提供商或交通网络的人工智能辅助网络攻击也可能会扰乱人们生活所依赖的服务。

塞拉赫瓦说：“我最担心的是网络攻击、对关键基础设施的攻击和经济破坏。”

“这些都是直接且现实的风险，因为它们可以被人类行为者使用先进的人工智能系统放大。“可以帮助科学家了解疾病、蛋白质和生物系统的人工智能能力可能会被滥用来协助危险的生物或化学研究。

Anthropic 9月份的威胁报告描述了几起用户为生物研究寻求帮助的案例，从而触发了该公司的保障措施。

在一个案例中，用户寻求与涉及基孔肯雅病毒的功能获得工作相关的帮助，而其他人则涉及病原体和毒素的研究。Anthropic表示已阻止该活动。

令人担忧的不是当今的人工智能系统可以独立制造生物武器，而是越来越强大的模型可以使专业知识更容易获得，或加速以前需要大量专业知识的工作。

李强调，从人工智能模型中获取潜在危险信息与实际实施生物或化学攻击之间存在相当大的差距。

他说：“涉及实体武器、生物威胁或对关键基础设施的攻击的灾难性场景所需要的不仅仅是生成文本或代码。”

“他们需要复杂的协调、专业的硬件、物理合成和特定领域的基础设施管理。当前的人工智能系统无法自主导航或执行这些多方面的物理管道。“人工智能还可以通过塑造人们的所见所闻和信念来造成伤害。它已经可以大规模制作有说服力的文本、图像、音频和视频，并为特定受众量身定制信息。

Anthropic 9月份的报告记录了人工智能辅助的影响力操作，涉及虚假账户、网站和政治内容。

在战争、选举或公共紧急情况期间，风险可能会变得特别严重，因为人工智能生成的账户网络可能会被用来传播虚假信息、加剧紧张局势或鼓励暴力。

2024年7月绍斯波特三名女孩被杀后，骚乱蔓延到英国部分地区，这为人工智能生成的材料如何成为更广泛的错误信息生态系统的一部分提供了一个例子。

袭击发生后，有关嫌疑人身份、宗教和移民身份的虚假说法在网上迅速传播，并在抗议活动发展为多个城市的骚乱之前被极右翼账户放大。

伦敦经济学院的研究发现，它检查的一个X帐户在袭击发生后发布了数十张人工智能生成的图像，宣传种族主义和仇视伊斯兰的叙述。

研究人员表示，包含生成人工智能图像的39个帖子吸引了不成比例的高参与度，其中一篇获得了1100万次观看。

另一类担忧涉及人工智能聊天机器人与弱势用户之间的直接互动，多起诉讼指控聊天机器人互动导致了死亡，包括谋杀、服药过量和自杀。

2026年5月，19岁萨姆·尼尔森（Sam Nelson）的父母对OpenAI提起非正常死亡诉讼，指控ChatGPT在他于2025年意外服药过量死亡之前向他提供了涉及kratom、Xanax和酒精的危险建议。

OpenAI对这些指控提出异议，并表示ChatGPT不能替代专业医疗护理。另一起诉讼涉及康涅狄格州涉嫌谋杀自杀的案件。

83岁的康涅狄格州妇女苏珊娜·亚当斯（Suzanne Adams）的遗产管理机构起诉OpenAI和微软，指控ChatGPT在她儿子杀死母亲和自己之前强化了他的偏执妄想。

《柳叶刀精神病学》今年发表在《柳叶刀精神病学》上的一篇评论警告说，大型语言模型可能会导致精神病症状的发生或恶化，包括通过强化弱势使用者的妄想信念。人工智能还可以使欺诈行为更有说服力、更容易大规模实施。

2024年，香港警方表示，一家跨国公司的一名员工被骗转移了约2500万美元，此前诈骗者在视频会议期间使用deepfake技术冒充该公司的首席财务官和其他员工。

据报道，这名员工与几名似乎是公司高级官员的人通了电话。警方表示，欺诈者已经创建了高管的deepfake版本，并利用它们来说服员工进行转账。

美国当局还警告说，犯罪分子使用人工智能生成的声音和信息来冒充公职人员和其他可信人物。

联邦调查局的《2025年互联网犯罪报告》称，涉及人工智能的投资骗局导致当年报告的损失超过6.32亿美元。

对于李来说，许多最可信的近期危险并不依赖于人工智能变得有意识，发展自己的意图或独立决定伤害人类。

它们来自于人们使用越来越强大的系统来做以前更困难、更昂贵或技术要求更高的事情。

“由于大型人工智能模型摄取了大量的人类文本和代码，它们反映了在线存在的建设性和破坏性模式，”李说。

李说，如果没有适当的保障措施，此类系统可能会降低恶意行为者面临的技术障碍，包括帮助生成欺骗性内容、网络钓鱼活动或恶意代码。

“人工智能模型不会按照自己的愿望行事，它们的行为和输出直接受到用户输入和系统提示的引导，”他说。“核心风险是人类滥用，而不是流氓机器。"新闻_分享_推荐订阅_联系