字号 ·· | 护眼
加美财经

DeepSeek被以色列用于操控上千虚假社交账号

人工智能正在把网络舆论操纵从“AI帮助人生成内容”,推进到“AI自己运营整套虚假账号网络”。

an israeli and israeli flag hanging from a brick building

《纽约时报》9月18日报道,美国情报官员、科技公司和网络安全研究人员近期发现,伊朗和中国支持的行动,以及两家以色列私人公司的项目,已经开始利用中国开源人工智能模型建立自主AI智能体,在Facebook、Instagram、X和TikTok等平台自动创建和经营虚假账号。

其中,一项来自以色列的行动,已经明确使用中国DeepSeek模型。

特拉维夫公司IntelEye联合创始人马奥尔·塞莱克承认,公司使用DeepSeek控制数千个社交媒体账号。

IntelEye成立于2023年,创办者包括以色列间谍软件公司NSO Group的前员工。

塞莱克表示,公司一共购买了1万个社交媒体账号供AI智能体控制,其中大约1000个实际投入运行。

这些由DeepSeek驱动的AI智能体不仅生成帖子和评论,还能够自行决定使用什么提示、讨论哪些主题,并控制账号参与Facebook、Instagram、TikTok和X上的政治讨论。

相关账号在以色列10月大选前大量参与有关选举的帖子和视频讨论,其中既有支持总理内塔尼亚胡的内容,也有反对他的内容。

IntelEye否认这是政治影响力行动,称使用DeepSeek只是“防御性研究”,目的是测试安全限制不足的AI模型可能如何被滥用,并帮助开发识别类似行动的技术。

不过,Meta表示,这些活动看起来属于“跨多个平台协调创建虚假账号的行为”,并称已经通过自动检测系统删除绝大多数出现在Meta平台上的相关账号。

除了IntelEye,美国情报和安全机构还发现,伊朗和中国支持的行动,也在使用中国开源AI模型建立自主智能体。

与过去主要使用人工智能生成文字、图片或视频不同,这些智能体已经能够直接操作软件,自行注册账号、发布内容、评论、调整话题,并协调不同账号之间的信息传播,所需人工干预大幅减少。

为海外华人提供可靠的信息和分析。更多内容与即时更新,可以在 Bluesky、Telegram、X 、reddit搜索「causmoney」;深度分析和评论也可以直接搜索「caus.com」。

美国官员表示,这是首次发现以中国开源模型为基础的AI智能体参与影响力行动几乎所有环节,从创建虚假账号一直到协调网上信息传播。

其中,伊朗针对美国受众的行动最受关注。

相关AI账号冒充生活在华盛顿、圣迭戈、亚特兰大等美国城市的普通居民,发布美国政治、移民和中东局势内容,并传播反共和党观点。

部分账号还主动在评论中标记美国记者和政治人物,希望把AI生成内容带入真实政治讨论。

这些账号今年上半年累计获得接近8万名关注者。

美国安全官员认为,这项行动受到伊朗国家支持。Meta此前已经清除其中一批Facebook和Instagram账号。

中国也被发现试验类似的自主AI影响力技术,但美国官员没有公布具体使用了哪一种中国模型,也没有披露中国行动的目标、规模和主要议题。

目前不能确定中国或伊朗的这些行动是否同样使用DeepSeek。

安全研究人员真正担心的是,开源AI模型正在显著降低组织大规模影响力行动的门槛。

DeepSeek这类开源模型可以被下载到私人服务器上运行。使用者可以修改甚至关闭原有安全限制,模型开发公司也无法像关闭云端账号那样直接阻止滥用。

过去,要长期维持数百甚至数千个虚假人物,需要大量人员负责注册账号、生成内容、回复评论和协调传播。

现在,自主AI智能体已经可以自动完成其中越来越多的工作。

IntelEye的案例显示,一个开源AI模型已经能够同时控制上千个账号,并自行决定这些账号谈论什么、如何发言以及如何参与政治讨论。

目前这些系统仍然比较粗糙。IntelEye自己承认,相关AI账号试图与真实用户互动时效果有限。

但美国情报和安全机构担心,随着AI智能体能力继续提高,这类自动化影响力行动可能变得更便宜、更大规模,也更难被及时发现。