Anthropic PBC的研究员雅各布·考克森（Jacob Coxon）上周辞职，并在社交媒体上发文称，原因在于“开发人工智能的人真诚地相信，到本十年末，它可能会杀死我们所有人。”该公司人工智能对齐科学团队负责人埃文·胡宾格（Evan Hubinger）认为，未来10年内发生这种情况的概率超过10%。Anthropic首席执行官达里奥·阿莫代（Dario Amodei）呼吁放缓人工智能前沿技术的发展以降低风险，这一观点也得到了OpenAI首席执行官萨姆·奥特曼（Sam Altman）和xAI首席执行官埃隆·马斯克（Elon Musk）的响应。你可能想象的是带有浓重奥地利口音的杀手机器人带来的末日景象。但最大的风险来自细胞，而非钢铁。安全与技术研究所对111名国家安全从业者进行的一项调查发现，70%的人认为人工智能显著增加了——或很快就会增加——生物武器的风险。想象一下，一名在人工智能辅助下的研究人员将一种免疫信号基因植入痘病毒中，这种基因能彻底抑制免疫反应，从而杀死它所感染的每一只未接种疫苗的动物，以及大多数已接种疫苗的动物。

这确实是一场噩梦，但并非科幻小说。这种情况在25年前就已经发生过，而且当时并没有人工智能的帮助。带有白细胞介素-4基因的鼠痘病毒对小鼠造成的后果正是如此，相关研究发表在2001年2月的《病毒学杂志》上。当时制造这种病毒的澳大利亚研究人员甚至并非为了杀死小鼠，他们只是想限制小鼠的繁殖。

自然界为有抱负的恐怖分子提供了大量的病原体。虽然存在一定难度，但我们已经具备了让这些病原体变得更危险的能力。人工智能或许能让这一过程变得更容易，但它从来都不是主要的障碍。真正的难点在于如何将病毒的基因组（无论是天然的还是人工改造的）转化为具有危险性的物质。这仍然需要实验室和训练有素的科学家。而且，所需的技能并非能从教科书中轻易学到。这些被称为“隐性知识”，长期以来人们一直认为，掌握这些知识需要经验和学徒制的培养。

原文内容： 1917年，法国请求美国制造其75毫米野战炮的复制品。尽管美国掌握了完整的制造图纸，但在战争结束前的18个月内仍未能生产出一门这样的火炮。原因在于：图纸中并未详细说明炮架上的螺纹规格；当美国技术人员实际测量这些火炮时，发现存在六种不同的螺纹类型，但其中没有任何一种适用于该火炮的制造。正如军事历史学家 H.A. De Weerd 所指出的：“关于这种法国火炮的后坐力控制系统，唯一的‘秘密’就在于其制造过程的复杂性。”这种复杂性属于所谓的“隐性知识”（即无法通过书面文档明确表达的知识）。

随着时间的推移，隐性知识的重要性逐渐减弱。如今，任何工厂都可以根据通过电子邮件发送的文件来制造这些火炮。虽然隐性知识仍然具有重要的保障作用，但在生物学领域，这种利用数字化技术替代隐性知识的过程才刚刚开始。早在人工智能（AI）出现之前，我就已经开始关注这种变化对生物科学研究的影响。2009年，我与麻省理工学院的 Kenneth Oye 以及波士顿大学的 Scott Mohr 合著了一篇论文，指出合成生物学实际上是在试图降低隐性知识在生物工程中的重要性，但这种趋势反而可能增加生物安全风险。

人工智能（AI）对隐性知识重要性的影响可能远超过合成生物学。生物学家 Roger Brent 与兰德公司（RAND）的 Greg McKelvey, Jr. 认为，我们应该摒弃“生物研究中必须依赖隐性知识”的这一传统观念。他们证明：2024年时已经存在的基础模型能够为“从商业渠道获得的合成DNA构建物中提取活体脊髓灰质炎病毒”提供准确的指导。风险投资公司也在投资“自动化实验室”技术——这些技术理论上可以大幅减少实验生物学中的人工干预因素，从而显著提升实验的开展速度。这对那些致力于推动医学科学进步的人来说无疑是个好消息；但如果没有相应的监管机制，这些技术也可能被恶意利用，从而对生物安全构成威胁。

一个关键的保障措施是强制要求合成的任何DNA序列都必须经过筛查，以确定可能用于病原体。如今，大多数合成的DNA都是从公司购买的，但桌面DNA合成器已经上市。许多（但不是全部）DNA合成公司已经进行了筛选，但微软公司-领导的团队表明，人工智能蛋白质设计工具已经可以产生筛选软件错过的序列，尽管这些序列是否仍然有效尚未得到证实。

联邦政府目前要求进行筛查，但并未强制执行，自行政命令要求进行筛查以来，修订后的框架在16个月里一直处于悬而未决的状态。它应该强制执行筛查，DNA筛查公司和前沿人工智能实验室应该集中资源来制定赏金，奖励任何击败基于人工智能的DNA筛查的人。随着自动化实验室的激增，它们应该只与来自认可研究机构的经过验证的研究人员合作，并遵守相同的筛选要求。

这些都是万无一失的政策。即使没有人工智能，它们也是一个好主意，而且有了人工智能，它们会变得更好。在联邦帮助下，实施它们会容易得多。不幸的是，白宫没有介入，而是反对人工智能监管，唐纳德·特朗普总统表示，“人工智能接管世界、摧毁人类和所有其他坏事，是一个骗局”，并且“人工智能需要的唯一控制或‘护栏’是一个强大而聪明的（高智商！）总统，美国肯定有这一点！”万一高智商总统需要一些专家建议，最好将其在政府内部制度化，而不是解散国家反扩散和生物安全中心和国土安全部反大规模杀伤性武器办公室。政府甚至暂停了更新的筛选框架，这些框架本可以堵住让新型特工通过的漏洞。

在政府决定介入之前，私营部门的领导者们必须承担起填补这一空缺的责任。Anthropic公司已经报告称，他们成功阻止了五次利用 Claude 技术进行可能用于生物武器研发的尝试，并表示他们再也无法确保自己的最新模型不会对生物武器的研发起到任何帮助（即这些模型不会被用于此类非法目的）。即使只是利用人工智能技术辅助开发的生物制剂发起的小规模攻击，也必然会导致相关行业受到严格的监管限制。我们必须确保自己不会重蹈那些澳大利亚老鼠的覆辙（即避免因人工智能技术而被迫承受严重的后果）。