目击者周三告诉国会,人类的批准可能不足以确保对人工智能决策的手动控制,因为人工智能在军事目标识别和建议中发挥了更大的作用,从而压缩了可用的干预时间。批评者表示,这种担忧不仅限于可以自行选择和攻击目标的武器。
在题为“人工智能对人权的军事影响”的听证会上,目击者告诉汤姆·兰托斯人权委员会成员,人工智能可以影响人类的决定,导致罢工,同时让个人正式负责最终通话。
乌克兰人工智能治理研究员安娜·梅西辛(Anna Mysyshyn)告诉立法者:“仅靠批准按钮并不能体现控制力。”
这个问题出现之际,五角大楼正在推动使用人工智能来加速军事决策。五角大楼2023年人工智能采用战略将“快速、精确和有弹性的杀伤链”确定为预期结果,而其2026年人工智能战略则呼吁通过围绕当前人工智能能力重新设计军事工作流程和作战概念,成为一支“人工智能优先”的作战力量。
Mysyshyn质疑监督多个支持人工智能的系统的人是否能够识别出不正确的建议并在伤害发生之前足够快地进行干预。她以乌克兰为例,人工智能将决策从几小时压缩到几分钟。
她说,在许多情况下,做出最终决定的人不一定有足够的信息、时间或能力质疑系统的建议。
国防部2023年关于武器系统自主性的指令要求自主和半自主武器,以使指挥官和操作员能够对武力的使用进行适当程度的人类判断。
周三的证词重点关注更广泛的问题,即如果人工智能影响目标的速度超过人类验证的速度,那么这一判断是否仍然有意义。
阿曼达·克拉辛格是国际特赦组织美国的政府关系与倡导事务负责人,她警告说,人工智能可以压缩军事打击流程,使得很难确定在发动攻击之前是否真的进行了必要的人员评估。
约瑟夫·查帕是一位前军事官员,同时也是军事伦理领域的学者。他认为,这场辩论不应仅仅聚焦于系统的自主性程度。他建议政策制定者考虑一下,这种人工智能系统是否依赖统计推理机制;在特定的作战环境中,当系统出现故障时会发生什么;以及这些决策之后是否能够进行审计。
查帕指出,统计型人工智能系统在出现故障时,其表现可能与传统软件有所不同。即使是微小的输入变化,也可能导致系统产生截然不同的输出结果。更复杂的人工智能系统则可能导致难以追溯某个决策的具体形成过程。
他呼吁军队加强人工智能相关方面的培训,包括对负责目标定位和情报系统的工作人员进行专业培训。
周三的观察人士还指出,当人工智能辅助的决策导致平民受到伤害时,需要建立更严格的问责机制来解决问题。
国防部于2022年制定了《平民伤害缓解与应对行动计划》,其中包括一个旨在提供分析和培训的平民保护中心。根据联邦法律,五角大楼必须运营这个中心。
但国防部的一名监察长在5月份发布的报告中对该部门实施这一框架的情况进行了评估,发现一些问题,包括人员流失或重新分配、平民伤害数据管理平台的资金中断,以及高级指导委员会未能继续召开会议等。
这一点在人工智能领域尤为重要,因为正如克拉辛所指出的,军方目前缺乏足够的能力来判断人工智能是否可能导致对平民的不当打击。
在美伊战争爆发的第一天,一枚“战斧”巡航导弹击中了伊朗南部米纳布市沙贾雷·塔耶贝赫小学。据联合国和伊朗官员称,至少168人遇难,其中超过100人年龄不满12岁。
根据国际特赦组织对卫星图像的分析,该教学楼距离伊斯兰革命卫队一处长期存在的海军设施不足100码(约91米),且在2013年至2016年间出现一道围墙之前,该学校一直位于革命卫队基地的围墙范围内。
截至2月28日美国和以色列发动首轮打击时,该校已建立数年。一项调查发现,该校在社交媒体上活跃,并拥有自己的网站。
3月12日,超过120名众议院民主党议员致信五角大楼,要求澄清是否使用了人工智能,“包括‘马文’智能系统,来识别沙贾雷·塔耶贝赫学校作为打击目标”。事件发生后,美军调查人员表示,此次打击很可能由美军实施。然而,五角大楼至今仍未公布其调查结果。
克拉辛建议,在五角大楼根据《国防授权法》第1057条要求提交的年度平民伤亡报告中,增加关于人工智能参与情况的信息。现有的报告要求涵盖平民伤亡、调查及缓解措施等信息,但并未明确要求该部门指明人工智能是否导致了相关事件。
卡内基国际和平基金会高级研究员史蒂夫·费尔德斯坦表示,五角大楼应该收集军事行动的数据并进行事后审查,以确定人工智能辅助系统是否准确识别预期目标,以及错误是否导致平民伤亡。
“一个更大的问题是,五角大楼在多大程度上收集数据并验证所有这1000次打击的目标准确性?”费尔德斯坦说道。
费尔德斯坦还警告不要将人工智能本身视为所有潜在问题的根源。人工智能可用于帮助验证情报、检测图像变化并优先考虑对无人机和弹道导弹等威胁的防御反应。
但梅西辛说,如果一个受人类影响的系统是建立在某些人口特征使某人成为合法目标的假设之上的,那么人工智能就不会纠正这一基本前提。
费尔德斯坦同样指出了人类在使用人工智能系统之前制定的规则。他说,如果指挥官确定在追求军事目标时特定程度的平民伤害是可以接受的,那么机器就在人类定义的框架内运行。
当系统的运行速度超过人们有效评估建议的速度时,挑战就显得尤为严峻。
该委员会以伊拉克的例子开始了周三的听证会。2004年,陆军班长尼克·埃里森(Nick Ellison)在基尔库克进行人口普查巡逻时,遇到两名年轻人从汽车上用机关枪射击。
埃里森与其中一名男子眼神交流,看到了恐慌,并命令他的士兵停火。这些人原来是新婚新郎的兄弟,枪声是庆祝的。
Mysyshyn表示,测试应该检查偏见、可靠性、平民保护、现实的时间压力、操作员是否可以中断系统以及决策是否可以在人工智能系统的整个生命周期中进行跟踪。
查帕表示,一些人工智能系统可能很难事后审计,而人权观察组织的黛博拉·布朗表示,有关军事人工智能使用的信息通常是通过调查报告和举报人而不是政府披露的。
据目击者称,越来越大的挑战不再是让机器扣动扳机,而是批准扣动扳机的人是否有足够的时间、信息和权力在灾难前做出有意义的选择。《军事时报》记者凯蒂·利文斯通对本报告做出了贡献。