上个月，在Blackpink成员Jennie于东京Summer Sonic音乐节上的头条演出中，有短短几秒钟，看起来似乎有什么东西松脱了。她转身背对人群，整理了一下自己，然后那一刻就过去了。

但在网上，这段视频从未消失——在获得超过1000万次观看后，它已成为韩国打击AI性虐待的最新考验。

粉丝们迅速高呼深度伪造，逐帧分析画面寻找可能的人工智能操纵迹象，并要求将其下架。

这位K-pop明星的经纪公司OA Entertainment既未确认也未否认视频的真实性，仅在8月18日的一份声明中表示，已“近期发现针对艺人（Jennie）的持续不当行为，涉及在线社区和社交媒体平台”。

声明还补充说，正在与律师合作追究民事和刑事责任，并誓言“绝不让步或宽容”。

据信最初发布该视频的账户现已被暂停，但尚未宣布官方警方或检察机关的后续行动。如果追究此案，将成为韩国修订后深度伪造法律的一次高调考验。

该法律于2024年颁布，其范围此后已扩大，不仅惩罚创建或分发性剥削性AI操纵材料的人，还惩罚持有、保存或观看这些材料的人。

然而，法律专家表示，一段真实性存疑的病毒式传播视频也暴露了执法的实际局限性，从证明谁制作了它到谁故意传播了它。

首尔律师事务所Lin LLC的高级法律顾问兼AI产业中心负责人方锡浩表示，韩国的法律框架“在为此类滥用行为设定严厉刑事处罚方面相对主动”。但他告诉《本周亚洲》：“但仅仅加强法律并不会让犯罪消失。

如果说有什么不同的话，我们正处于一个技术导致更多犯罪同时使侦测罪犯更加困难的阶段。”

两年前，在公众对基于Telegram的性犯罪团伙的愤怒之后，韩国对其针对深度伪造的法律武器进行了全面改革，这些团伙通过加密聊天室分发经过篡改的女性和女孩（包括学生和女军人）的图像。

这一丑闻让人想起2020年臭名昭著的“N号房”案件，该案件首次揭露了海外平台如何被用来制作、销售和以性剥削材料勒索受害者。

但较新的深度伪造案件在一个关键方面有所不同，展示了令人信服的虐待材料现在如何能从一张普通照片中生成，然后在任何人（无论是受害者还是调查人员）知道是谁制作之前，迅速传播并被大量人群观看。

根据2024年生效的韩国《性犯罪处罚特别法》修正案，制作露骨性深度伪造内容最高可判处七年监禁或5000万韩元（约合36,800美元）罚款。

持有、购买、存储或故意观看此类材料最高可判处三年监禁或最高3000万韩元罚款。

活动人士得到了他们呼吁的一些更严厉处罚，但新法律也引发了关于证明意图以及如何实际执行的棘手问题。

首尔Gammyung律师事务所专门处理性犯罪的律师安甲哲表示，更严厉的量刑规则促使检察官寻求“越来越严厉的判决”，这反过来影响了法院的裁决。

然而，安表示，新措施“在实践中往往不足，无法像应有的那样有效运作”，并进一步主张应简化删除非法材料的程序。Jennie案说明了原因。

在任何起诉开始之前，调查人员需要确定该视频是否确实被伪造，追踪谁首先发布，并证明分享者是否知道它是假的。

“逮捕和惩罚罪犯是另一个主要问题，因为很难识别海外平台运营者的身份，”安说。

“引渡他们可能会引发与外国法律的冲突，而海外服务器不在韩国法律的管辖范围内。”

这一困难在上个月底在韩国国际特赦组织主办的论坛上公布的警方数据中得到了证实，该数据显示，当局向外国消息服务和平台运营商提交了26,697项数据请求，但仅收到15,466项回复，即58%。其余未获回应。

对安来说，更紧迫的问题通常是在证据消失之前识别匿名账户背后的身份。

“当今在线性犯罪的最大障碍是防止嫌疑人销毁或篡改证据，”他说。“对于匿名账户，识别实际用户可能需要很长时间。

调查人员通常必须联系海外服务器的运营商，以确定账户背后的人，然后账户背后的人才会关闭账户或销毁证据。”

在像Jennie这样的病毒式名人案件中，这种延迟可能特别有害，因为转发和截图在调查人员能够确定材料来源之前就已成倍增加并消失。

尽管如此，韩国法院已表明，当调查人员确实识别出责任人时，他们可以对AI生成的性虐待材料判处监禁。

6月，一名因创建和分发K-pop女子组合Aespa的深度伪造而被定罪的男子被判处两年半监禁，外加80小时的性暴力治疗计划和七年禁止与儿童和青少年一起工作的禁令。

方认为，仅靠刑事处罚无法解决这个问题，他觉得这些罪行的心理方面更令人不安。

他指出，与面对面犯罪迫使罪犯面对受害者不同，屏幕移除了这种人性元素。

“在虚拟世界中，对错误行为的意识……变得弱得多，尤其是在年轻人中，”方说。

“用户越年轻，他们对错误行为的意识与惩罚严重性之间的差距往往越大。

因此，他们对这些罪行的严重性以及对受害者造成的伤害的意识正在减弱。”

去年，与深度伪造相关的犯罪占警方揭露的所有网络性犯罪的35.2%，即总共1,553起——这是最大的单一类别，根据在国际特赦组织论坛上公布的统计数据。

在2025年被逮捕的3,557人中，近一半（1,761人）是青少年，超过90%的深度伪造嫌疑人年龄在十几岁或二十几岁。

上个月的一个案件涉及一名青少年，据称他使用约20名同龄女孩的照片创建了露骨的性深度伪造并在社交媒体上分享，已被移送检察官。

方说：“所以这不是仅通过加强法律就能解决的问题，就像一场无休止的猫捉老鼠游戏。我们已经从经验中看到了这一点。”元恩智也看到了这一点。

作为Team Flame的执行董事，这个调查组织在2020年帮助揭露了“N号房”数字性犯罪和勒索丑闻，她目睹了像Jennie这样的高调案件获得了普通受害者很少得到的公众关注。

“政府、媒体和整个社会没有给予这个问题足够的关注，”她说，并指出即使在今天，许多调查也是在受害者迫使问题曝光后才开始的。

“警方和当局需要进一步专业化并加强他们在追踪和调查此类案件方面的能力。”

她的最后一点是希望读者反思，像Jennie视频这样的病毒式时刻表明公众也可以发挥作用。

“我们大多数人可能不是肇事者或受害者，但这并不意味着我们与这个问题无关，”元说。

“每当我们遇到深度伪造性虐待材料时，重要的是向平台举报，并记住当有人公开谈论自己受害时，支持他们很重要。我们不应该只是旁观者。”

韩国国际特赦组织以更广泛的视角框定了这一挑战，称未来的真正任务是让社会问“为什么这种暴力持续发生，以及我们如何改变暴力发生和传播的环境”。

“数字性暴力应被理解为一种基于性别的暴力，”该组织在一份声明中表示。

“我们需要解决允许这种暴力持续存在的结构性原因，以及在为其提供平台的数字环境中创造变革。”