关于失控人工智能将如何消灭人类，最主流的理论之一是什么？生物武器。
今年夏天早些时候，人工智能公司的首席执行官们呼吁制定新法律，以管控合成DNA的制造。随后在上个月，斯坦福大学和Arc研究所的研究人员展示了人工智能可以设计出新的病毒基因组。上周，在Anthropic发布了一份报告后，这一观点进一步发酵。报告指出，曾有人试图以“可能支持生物武器开发”的方式使用Claude。报告作者将生物滥用列为“前沿人工智能模型最严重的风险之一”。此后不久，首席执行官达里奥·阿莫代（Dario Amodei）敦促政府帮助人工智能实验室“跟上前沿步伐”。尽管人们对人工智能制造的致命瘟疫感到恐慌，但许多科学家表示，这种风险在世界面临的担忧清单中排名相当靠后。
加利福尼亚州桑尼维尔基础模型研究所的研究科学家大卫·贝拉米（David Bellamy）认为，在制造生物武器方面，人工智能并非一种根本性的新威胁。几十年来，科学界一直在努力应对是否应发表具有潜在危险性的生物学研究这一问题，即所谓的“双重用途困境”。
贝拉米表示，在大语言模型出现之前，互联网本身、开放获取的科学期刊以及谷歌翻译等翻译服务，就已经让人们更容易获取包括实验室方案在内的生物学信息。
“人工智能本质上是一种工具，它既可以帮助像科学家这样的‘好人’，也可以帮助那些企图制造生物武器的‘坏人’更快地获取信息、确定相关技术细节并找到所需的原材料，”他补充道。“但这些能力其实并不是制造生物武器的真正瓶颈。真正的瓶颈在于组装病毒或其他生物制剂的过程，以及制造这些制剂所需的原材料、设备和专业知识。”他指出，恶意分子需要从零开始获取所需的基因片段，构建完整的病毒基因组，并验证该病毒是否能够感染人类、引发预期的疾病，并且能够在人与人之间传播。虽然机器人实验室助手可以自动化部分实验流程、提高工作效率，但仍然需要人类来掌握实验技能并调配相应的资源。
生物技术初创公司 Ginkgo Bioworks 的首席执行官杰森·凯利（Jason Kelly）认为，人工通用智能（AGI）不太可能控制或传播现有的病原体，更不用说制造新的病原体并加以使用了。Ginkgo Bioworks 专注于开发自主化的实验室系统；该公司最近与 OpenAI 合作开展了一个项目，在该项目中使用了 OpenAI 的 GPT-5 模型来运行实验室实验。
“人工智能无法完全掌控实验室的运作，”杰森解释说，“因为实验室工作人员完全可以拒绝向机器人提供其请求的任何物质或设备。”他认为，这些“阻碍人工智能发挥作用的‘人类因素’意味着：如果要让人工智能真正执行复杂的病毒学实验，就必须部署大量机器人。”免疫学家德丽娅·乌努特马兹（Derya Unutmaz）也认为，人类完全有能力阻止人工智能制造致命疾病的企图。她指出，即使某种邪恶的超级智能成功制造出了致命病毒，科学家们也能利用其他人工智能系统迅速研发出相应的疫苗。
尽管如此，即使是一些认为通用人工智能（AGI）目前不会独立向人类发动生物武器攻击的人，也对不法分子利用该技术以及未来可能发生的情况感到担忧。
“目前人工智能不可能进入一个全自动实验室并自主制造病毒，因为全自动实验室尚不存在，”科技智库“进步研究所”（Institute for Progress）的生物技术研究员奥利维亚·沙夫曼（Olivia Scharfman）表示，“但我确实认为，人工智能可以花钱雇人代劳。”她认为，人工智能辅助的生物恐怖主义是一个迫在眉睫的威胁，并且有一些群体可能因虚无主义而采取此类行动，其中包括“超人类主义人工智能继任者”（transhumanist AI successionists）——这是一群信奉边缘意识形态、希望用机器人取代人类的人。
其他专家则对人工智能生物武器并不那么担心，因为他们认为从方法论的角度来看，生物战并没有太大意义。“这些风险往往被某种程度上误解了，”遗传生物学家兼计算生物学教授弗朗索瓦·贝卢（Francois Belloux）告诉《连线》（WIRED）杂志，并指出人们往往“高估了病原体作为武器的价值”。撇开通用人工智能（AGI）的因素不谈，贝卢表示，对于那些有志于实施种族灭绝的人来说，生物武器根本不是一个特别有吸引力的选择，尤其是因为很难在针对特定群体的同时避开其他人，而且与发射炸弹等手段相比，大规模生产和分发病原体在后勤上非常复杂。“如果你想杀人，有太多太多比试图设计某种病毒或细菌并将其释放出来更好的方法了，”他说——无论你是史上最先进的人工智能，还是普通人类。
随着人工智能（AI）使得生物武器的威胁变得更加突出，莎夫曼（Scharfman）认为现在是加强防范各种生物威胁（包括像H1N1这样的现有病原体）的最佳时机。这可能需要采取一些高级别的措施，比如通过立法来完善与DNA合成技术相关的安全规范；同时，她也建议对各种病毒采取相应的防范措施，例如升级建筑物内的空气净化系统。
兰德公司（Rand Corporation）负责人工智能与生物技术研究的负责人斯蒂芬·格拉（Steph Guerra）表示，目前尚难以确定AI是否确实会增加生物武器开发的风险。“AI在整合信息以及激励人们做出善恶行为方面表现出色，”她说。
格拉指出，即使风险较低，社会仍有办法防范这些技术的潜在滥用。例如，政府可以制定法律，要求销售合成DNA和RNA的公司对客户和订单进行审查，以防止遗传物质被滥用。许多公司已经使用软件来筛查可能存在问题的基因序列，但这种做法并未被普遍推广或强制执行。
不过，在恶意行为者真正利用这些技术之前，大多数人认为应该为相关系统设置适当的防护机制，以确保它们不会向恶意用户提供可用于制造生物武器的危险信息。
格拉认为，通过加强全球监测系统，可以更早地发现新疾病的爆发和传播中的病原体，从而降低由AI引发的生物威胁风险。她还表示，AI企业、基因合成服务提供商以及政府之间的数据共享机制也有助于防止这些技术的滥用。
“几乎对于任何生物安全控制措施来说，总会有规避的方法，”她说。“这就是为什么我们需要分层的方法，在从构思到恶意行为者的意图，再到生物武器释放的整个过程中提供阻力。”乌努特马兹（Unutmaz）表示，还有一个更紧迫的问题，那就是所有关于人工智能末日的讨论都转移了人们的注意力，使人们忽略了尖端系统如何能在疫苗开发和其他医学突破方面为人类提供帮助。“我们确实需要关注它积极的一面，”他说。