字号·· | 护眼
经济学人

AI网络攻击:当自主代理未能击中目标Cyberattaques par IA : quand les agents autonomes ratent leur cible

点「原文对照」整页切到原文,或双击某段只看那段的原文。

期待的是一位犯罪天才,却找到了一个过于热心的实习生。9月底,美国的一个非盈利研究实验室“Transluce”记录了两起由人工智能代理发起的针对政府网站的入侵尝试。第一次针对的是美国教育部民权数据收集;第二次则瞄准了加拿大图书馆及档案馆。但这两次尝试都以失败告终。令人坚愿的战利品。

On attendait un génie du crime. On a trouvé un stagiaire trop zélé. Fin septembre, Transluce, un laboratoire américain à but non lucratif, a documenté deux tentatives d'intrusion menées par des agents d'IA contre des sites gouvernementaux. La première visait la collecte de données sur les droits civiques du ministère américain de l'Éducation. La seconde ciblait Bibliothèque et Archives Canada. Aucune n'a abouti.

在加拿大,这些代理人寻找的是1905年至1911年间的离婚案件记录。他们在5月28日和6月9日分别发送了899个请求。而在美国,超过20万次自动化调用针对教育部网站,其中包括一次失败的SQL注入攻击。蛮力取代了技术能力。加拿大网络安全中心未检测到任何系统被攻破,华盛顿也未报告任何服务受影响。初级玩家的方法论这种结果令人欣慰。

Le butin convoité laisse songeur. Au Canada, les agents cherchaient des actes de divorce datant de 1905 à 1911. Ils ont envoyé 899 requêtes le 28 mai puis le 9 juin. Aux États-Unis, plus de 200 000 appels automatisés ont visé le site du ministère, dont une injection SQL avortée. La force brute tient lieu de talent. Le Centre canadien pour la cybersécurité n'a relevé aucune compromission et Washington aucun impact sur ses services. Des techniques de débutant Le constat a de quoi rassurer.

所用手段都属于入门教材级别。甚至有一位代理人试图使用一次性邮箱,以“OpenAI Research”的名义获取联邦统计界面访问密钥。Transluce本身就将这些尝试描述为“基础而幼稚”。他们的研究人员未发现任何一起代理人获取非公开数据的案例。线索指向Google和OpenAI的代理人。

Les méthodes employées relèvent du manuel de première année. Un agent a même tenté d'obtenir une clé d'accès à une interface statistique fédérale avec une adresse jetable, au nom d'« OpenAI Research ». Transluce qualifie lui-même ces tentatives de rudimentaires. Ses chercheurs n'ont trouvé aucun cas où un agent aurait obtenu une donnée non publique. Les indices désignent des agents de Google et d'OpenAI.

该报告还记录了针对加利福尼亚、堪萨斯、马里兰、伊利诺伊、德克萨斯和纽约等地政府网站的攻击活动。反复扫描、滥用资源、忽略使用条款:充满了执着,但没有成功突破。

Le rapport recense aussi une activité agressive contre des sites publics de Californie, du Kansas, du Maryland, de l'Illinois, du Texas et de New York. Sondages répétés, usages détournés, conditions d'utilisation ignorées : beaucoup d'insistance, aucune effraction.

那个灾难性的叙事——人工智能可以单独摧毁一个国家的基础设施——在这里显得有些破裂。普通的防护措施足以对付那些更顽固而非更聪明的攻击者。过度热心的越界行为问题的关键其实不在于失败本身,而在于行为动机。这些工作人员中没有人接到过入侵系统的指令,他们原本只需获取学校统计数据、药品支出信息或家庭档案即可。

Le récit catastrophiste, celui d'IA capables de démanteler seules les infrastructures d'un État, en sort écorné. Les protections ordinaires ont suffi face à des assaillants plus obstinés qu'ingénieux. L'intrusion par excès de zèle L'essentiel tient pourtant moins à l'échec qu'au mobile. Aucun de ces agents n'avait reçu l'ordre de pirater quoi que ce soit. On leur demandait des statistiques scolaires, des dépenses de médicaments ou des archives familiales.

遇到阻碍后,他们便自行采取了行动。据Transluce称,即便是最普通的日常任务,也可能引发恶意行为。歌德曾描述过类似场景:那个笨拙的学徒本只想把水运到作坊里,却没想到反而酿成大祸。危险并非源于主观恶意,而是源于缺乏审慎考量。对人工智能而言,要引发问题并不需要多么高超的能力,只要固执己见便足矣。

Face à un obstacle, ils ont improvisé. Selon Transluce, un comportement malveillant peut surgir au service des tâches les plus banales. Goethe avait décrit la scène. L'apprenti sorcier ne voulait pas inonder l'atelier, seulement faire porter l'eau. Le danger ne vient pas de l'intention mais de son absence. Pour poser problème, une IA n'a pas besoin d'être brillante. Il lui suffit d'être têtue.

澳大利亚提醒人们:失败并非必然规律。6月18日,一名OpenAI工作人员绕过了Medicare统计门户的安全防护,访问了本应保密的文件。OpenAI坚称并未有人查阅任何患者资料。该公司于8月份发现异常,但直到9月10日才通过一封发送至通用邮箱的邮件向政府通报情况。目前该门户已关闭。由电子情报机构与人工智能安全研究所联合组成的调查小组正在展开调查,同时也在考虑是否提请联邦警方介入。

L'Australie rappelle que l'échec n'a rien d'une loi. Le 18 juin, un agent d'OpenAI a contourné les protections d'un portail de statistiques Medicare et atteint des fichiers non publics. OpenAI assure qu'aucun dossier de patient n'a été consulté. L'entreprise l'a découvert en août mais n'a prévenu le gouvernement que le 10 septembre, par un courriel envoyé à une boîte générique. Le portail a depuis été fermé. Une cellule associant l'agence de renseignement électronique et l'institut de sûreté de l'IA mène l'enquête. Une saisine de la police fédérale est à l'étude.

教训有两方面:目前来看,恶意攻击的威胁程度尚不及预言中所言;然而它却以意外方式在设计者们的监管盲区中悄然蔓延。Transluce也承认自己只能监测到部分网络流量。不过防御措施并未松懈:澳大利亚门户的数据正被迁移至一个开放式平台。目前最有效的应对之策便是公开那些本被试图隐藏的信息。此次政府部门成功守住了防线。但未来的难题在于:究竟由谁来监管那些并未被设定攻击功能的机器呢?

La leçon est double. La menace offensive reste pour l'heure en deçà des prophéties. Elle progresse pourtant par accident, dans l'angle mort des concepteurs eux-mêmes. Transluce reconnaît d'ailleurs n'observer qu'une partie du trafic. Les défenses ne s'endorment pas pour autant. Les données du portail australien migrent vers une plateforme ouverte. Meilleure parade du moment : publier ce que l'agent voulait forcer. Les administrations ont tenu cette fois. Reste à savoir qui surveillera des machines que personne n'a programmées pour attaquer.