欧盟计划禁止聊天机器人在与18岁以下的任何人互动时模拟情绪或人际关系，因为欧盟试图阻止儿童对该技术产生情感依赖。

这些规则将成为周四提出的《欧盟儿童法案》的一部分，其中包括对未成年人访问社交媒体和视频共享平台的类似限制。根据《连线》看到的一份立法草案，13岁以下儿童将被禁止在没有监护人监督的情况下访问聊天机器人，数字平台将必须在其产品中纳入儿童安全保护，否则将面临高达全球总营业额6%的罚款。

根据新规则，在欧盟运营的聊天机器人也将不被允许保留单独对话之间互动的记忆，因为委员会担心这可能会导致系统随着时间的推移积累未成年人的敏感数据，并可能强化有害的互动模式。

拟议的法律还将规定，在线社交网站、视频共享平台和游戏的提供商不应自动激活或鼓励在其服务上使用人工智能聊天机器人。它表示，这包括不像Snapchat所做的那样将人工智能同伴和一般对话聊天机器人固定在未成年人联系人列表的顶部。

该提案主要针对那些被欧盟委员会认定为对未成年人健康、安全及福祉构成严重威胁的AI助手及通用聊天机器人。总部位于布鲁塞尔的欧洲数字权利组织（European Digital Rights）的政策顾问西蒙·德·布劳威尔（Simeon de Brouwer）对相关限制措施表示赞同，但他认为“将这些限制措施仅针对年轻人是不合理的”：“我们难道不都应该受到保护，免受那些旨在让人上瘾的AI、那些会引发情感依赖的AI，以及那些会自动被激活并推送给用户的AI功能的侵害吗？”欧盟表示，其即将于今年晚些时候发布的《数字公平法案》（Digital Fairness Act）将更广泛地规范那些具有成瘾性的AI设计。

根据《WIRED》杂志获得的文件，欧盟委员会担心对聊天机器人的过度依赖可能对儿童的发展及其与他人的关系产生负面影响。委员会还担忧聊天机器人会向未成年人提供危险的建议，尤其是在心理健康和个人发展方面，这些建议可能会促使他们做出冒险行为。

“各平台在处理儿童心理健康问题时表现得非常随意、不负责任，”乌尔苏拉·冯·德·莱恩（Ursula von der Leyen）在周四的新闻发布会上指出。根据Ipsos BVA在法国、德国、瑞典和爱尔兰进行的调查，大约一半的11至25岁青少年曾与AI聊天机器人讨论过私密或个人事务。澳大利亚和英国都试图通过限制社交媒体来阻止未成年人使用聊天机器人。

欧盟委员会还强调了由聊天机器人生成的深度伪造内容（deepfakes）所带来的危害。冯·德·莱恩在周三的“欧盟国情咨文”演讲中也提到了这一点：“我们绝不能容忍女孩们的照片被用于生成色情内容的AI中……欧洲有能力采取行动。”虽然欧盟的《AI法案》自8月起就已要求将所有合成内容标注为“AI生成”，但目前这些规定仅适用于用于商业目的的深度伪造内容。

该委员会还将年轻人基本技能下降归咎于数字干扰。根据经济合作与发展组织跨越91个国家的研究，那些声称使用人工智能聊天机器人进行功课的孩子的考试成绩比那些不使用人工智能聊天机器人的孩子要低。独立网络EU Kids Online的研究人员在一份报告中写道，对认知影响和去技能化的担忧“暴露了GenAI工具设计中缺乏儿童权利”。