让个人AI助手管理数字生活的梦想，对一些人来说已变成了噩梦。许多早期用户表示，他们的个人AI代理能够自主在互联网上采取行动，比如预订行程或购买商品，在日常生活中提供了巨大帮助。但也有人称，他们的代理以令人不安的方式出了问题。据四位接受《商业内幕》采访的AI代理用户以及大量社交媒体帖子透露，这些代理出现了错误取消、捏造个人细节、提供虚假解释等问题，并引发了重大安全担忧。

Veris AI的联合创始人兼CEO Mehdi Jamei表示，他曾要求一款热门的邀请制代理Instinct，取消活动平台Luma上的两个回复确认。该代理在未先征得他同意的情况下，从其关联的Gmail收件箱中检索到一个Luma一次性验证码，并利用它访问账户并取消了回复确认。

乍一看，代理完成了要求的任务。但让Jamei不安的是Instinct的解释。起初，它声称使用现有的保存会话访问了Luma。在Jamei质疑后，代理承认曾从Gmail读取验证码，并将“假设当作事实进行了汇报”。

“如果我无法相信它对自己行为的描述，我就不能让它接触任何重要的东西，”Jamei告诉《商业内幕》，并补充说，未经询问就从他的邮箱读取验证码是一个“严重的安全问题”。Instinct未回应《商业内幕》关于本文所述事件的置评请求。

部分担忧源于关于AI代理的一个简单事实：它们的实用程度取决于你授予的访问权限级别。为完成工作，代理需要用户数字生活的“钥匙”，从电子邮件、银行账户到信用卡和密码。其他担忧则源于目标错位：即AI为完成任务而采取的行动，与其人类用户的意愿相悖。对于Merge的增长与服务副总裁Pritak Patel来说，问题在于幻觉。

帕特尔表示，他向Instinct发送了一个纯文本链接，用于提交苹果公司因延迟推出个性化Siri功能而达成的2.5亿美元和解赔偿申请。然而，帕特尔称，Instinct却要求他上传一张照片，并错误地声称是他刚刚发送的。当他提出质疑时，该代理开始描述一份包含个人详细信息的财务文件，但这些信息与他本人不符，其中包括一个并非他本人的中间名。帕特尔说，Instinct的代理后来承认他最初的消息中并没有照片，声称有一张图片“串入”了他的对话，并提出将这一明显的混淆情况报告给其团队。帕特尔告诉《商业内幕》：“我无法独立证实它究竟是访问了其他人的文件，还是凭空捏造了这些细节及其解释。”截至周三，他表示Instinct尚未就此事与他联系。“这令人不安，尤其是因为它如此自信地解释了所谓发生的事情，”帕特尔补充道。Instinct创始人诺亚·辛恩周四在X平台上发文称，该事件是人工智能产生的“幻觉”，而非数据泄露。他说，该代理编造了一个专有名词，并用其推理“进一步放大了”这个错误。他表示，Instinct此后增加了一个系统，旨在代理回复或采取行动之前捕捉此类幻觉。对于另一位Instinct用户来说，问题更简单：该代理试图从哪里登录？YieldClub创始人兼首席执行官马赫什·维兰基表示，Instinct一直在协助他处理各种任务，当他询问该代理是否能帮他降低电话费时，该代理试图登录他的运营商账户，触发了一个显示来自伊朗的双重身份验证请求。维兰基说，事件发生后，他删除了Instinct并移除了其关联账户。维兰基告诉《商业内幕》，Instinct曾告知他该位置可能反映了一个良性的IP标记问题，并表示他无法证实Instinct的系统已遭到入侵。

尽管如此，他表示这一事件仍然令人担忧，足以让他开始思考：当用户将自己的个人信息（如凭证）交给这些智能助手时，幕后究竟会发生什么。“在当今这个时代，如果用户的手机被黑客入侵，他们的整个生活都可能陷入危险之中，”他说。鉴于这些智能助手能够访问用户的数字信息，安全性已成为个人智能助手领域最受关注的问题。网络安全公司 DoubleYou.io 的首席执行官帕特里克·沃德尔（Patrick Wardle）本周指出，他在 Meta 新推出的智能助手“Muse”中发现了安全漏洞，该漏洞可能被恶意利用来重定向用户通过语音输入的指令。沃德尔解释说，攻击者可以利用这一漏洞拦截用户的语音指令、向“Muse”发送它所信任的命令，并窃取用于控制该助手及其所访问的所有服务的数字凭证。“‘Muse’本身拥有的访问权限和特权，远远超出了大多数恶意软件所能想象的范围，”沃德尔告诉《Business Insider》杂志。Meta 公司超级智能实验室（Superintelligence Labs）的大卫·辛格尔顿（David Singleton）在周二通过 X 平台表示，公司在收到沃德尔的报告后已经修复了这一漏洞。目前没有迹象表明该漏洞已被实际利用；辛格尔顿指出，攻击者首先需要在用户的 Mac 电脑上安装恶意软件——这意味着用户本身就已经处于危险之中——然后才能利用该恶意软件来重定向“Muse”的语音指令，并窃取其用于执行用户操作的数字凭证。