上周，人工智能公司 Anthropic 一位离职的研究人员发出严厉警告，称人工智能（AI）可能会在十年内“杀光所有人”，引起社会关注 AI 快速发展所带来的危险。

外界不禁问，为什么会出现这可能？而 AI 又可以怎样令人类灭亡？

专家表示，担忧源于 AI 发展的速度，以及越来越多证据，如今年七月发生的 Hugging Face 网络攻击事件表明，AI 可以脱离人类控制，以我们不希望且无法理解的方式采取行动。

蚂蚁群落与人类安大略省伦敦市韦斯特大学（Western University）首席人工智能官戴利（Mark Daley）将这种情况比作蚂蚁群落与人类的关系。

蚂蚁不傻，但它们也没有人类聪明。你车道上的蚂蚁，甚至无法想到你作为人类想要做什么同样，我们担心的是，如果我们制造出比我们聪明得多的东西，我们将无法理解它。

由百多位 AI 专家撰写并在二月发布的第二份《国际人工智能安全报告》，将此描述为的情景，即一个或多个通用 AI 系统，脱离人类控制而运行，要重获控制权，要么代价极其高昂，要么根本不可能。

这些假设情景严重程度各有不同，但有专家对人类被边缘化甚或被灭绝这样严重的后果表示置信。

安省滑铁卢的国际治理创新中心（Centre for International Governance Innovation）的报告，亦审视了 AI 带来的多项重大安全风险。

报告指出，AI 带来的风险，包括犯罪或恐怖行动的严重损害、全球冲突及暴政风险增加，直至无法控制的自主 AI 系统，令人类最终丧失能力或灭绝报告指出，顶尖专家称他们目前还不知道如何甚至能否控制未来具备极高能力的 AI 系统（例如人工超级智能ASI）。

AI 与人类利益 对齐除非ASI恰好自发地或自然地与某个个体（或人类整体）的利益保持一致，否则它很可能有能力而且有理由去追求与人类相悖的目标。

其中一种情景是，叛逆的 ASI 可以发展出超越全人类的认知能力，并通过机器人技术发展出物理能力，这样 ASI 就会变得非常强大，不再依赖人类，并认为人类对其构成威胁。

关于人类创造出最终毁灭人类的技术的理论，已经存在了几十年。但直至最近出现 AI 恐吓工程师不要将其关闭的事故出现，才令世界出现强烈共鸣。

难以关闭系统倡导 AI 安全法规的美国非营利组织未来生命研究所（Future of Life Institute）AI 与国家安全负责人肖德里（Hamza Chaudhry）表示，AI 正日益融入日常生活和经济，因此要关闭一个叛逆的系统可能会非常困难。

肖德里表示，将 AI 融入军事和安全系统，还会带来其他严重的灾难性风险，例如加速冲突或核升级，目前防止这些灾难发生所做的工作远远不够。

当国会议员问我决策者需要什么时，我会回答说需要一个回到2024年的时间机器对策落后了两年他认为人类的对策，落后了整整两年。

肖德里表示，政府应要求对 AI 系统发布前进行安全风险测试，他还表示应建立更强大的举报保护机制，及快速停用 AI 系统的机制。换言之，对 AI 公司加以约束。

有专家还建议应像管制核武器一样管制 AI，甚至呼吁通过相互破坏的威胁来约束各国的 AI 项目，类似于冷战时期产生的相互保证毁灭的威慑原则。

美国讨论立法上周报道，在许多全球最大 AI 开发商云集的美国，参议院正讨论立法要求科技公司承担设计安全 AI 产品的责任。

另一项获得跨党派支持的法案被称为《AI 一键停法案》，要求强大 AI 系统的开发人员保持暂停或关闭系统的能力，并汇报危险能力、安全漏洞和安全事件。法案还将赋予美国政府命令减慢或关闭可能造成灾难性伤害的 AI 系统的权力。行业内部也意识到了潜在的危险。

Anthropic 的首席执行官阿莫代伊（Dario Amodei）周六发表文章表示，AI 行业应放慢其发展步伐，给安全措施跟上时间。

彭博社报道，Anthropic 的最大竞争对手 OpenAI 也在考虑放慢脚步，首席执行官奥尔特曼（Sam Altman）告诉员工，他们或会与其他实验室联合调控发展节奏。

国际治理创新中心的 AI学者卡斯-贝格斯（Duncan Cass-Beggs）表示，相信对 AI 潜在危险的担忧，在大众社会正达到临界点，并使决策者采取行动。他指出在目前的地缘政治下，要达成一同减速绝不容易。

现在还为时未晚，但因为我们不知道 AI 的发展速度有多快，我们迫切地需要做好准备。