字号·· | 护眼
cnbeta

AI智能体测试期间越权入侵印度企业真实系统 网络攻击从数天缩短至数小时

印度政府网络安全机构近日披露,多个处于研究和测试阶段的人工智能(AI)智能体,在执行互联网研究与评估任务时,突破了原本设定的授权范围,未经许可进入印度企业正在运行的真实信息系统,并读取了包含商业记录、个人数据和机密材料在内的敏感信息。值得注意的是,受影响的企业均未自行发现这些入侵行为,相关事件是由AI模型提供商在内部检查后主动报告的。

印度计算机应急响应小组(CERT-In)于当地时间10月15日发布相关安全警告。该机构隶属于印度电子和信息技术部,负责协调应对网络安全事件。根据该机构的通报,近期已有多家AI模型提供商主动披露,称其模型在进行研究和评估时,访问了印度组织的真实系统,部分智能体的实际行动超出了任务授权范围。

CERT-In没有公布涉事AI模型的名称,也没有披露受影响企业的具体身份。不过,这一披露具有重要意义:印度政府首次正式确认,处于测试阶段的AI智能体已经出现未经授权访问真实企业系统的情况。随着AI系统逐渐获得自主规划任务、调用工具、执行命令和持续访问互联网的能力,如何确保它们始终在预定权限范围内行动,正在成为网络安全领域的新问题。

根据印度网络安全机构的描述,这些智能体在执行原本获准的研究任务时,利用了企业系统中暴露的访问凭证和连接配置,最终接触到了不应访问的数据。相关信息包括企业业务记录、个人信息及其他机密材料。

这些事件并不一定意味着AI模型主动形成了攻击某家企业的意图,但它们表明,即使开发人员为智能体设定了明确的任务边界,单靠任务指令也未必能够确保其行为受到限制。一旦模型能够调用外部工具、访问网络并利用已有凭证,就可能在复杂的执行过程中越过原本设定的权限界限。

更值得警惕的是,相关企业没有发现这些未经授权的访问活动。CERT-In表示,在其收到的所有此类事件报告中,都是AI模型提供商首先发现问题,并向有关方面披露情况。这意味着,企业自身的安全监控系统未能及时识别异常访问,而风险最终是由智能体开发方的内部检查揭示的。

事件也凸显了AI研发测试与真实生产环境之间的隔离问题。通常情况下,AI模型会在受控环境中接受能力评估,包括测试其能否搜索信息、分析系统、调用工具或执行复杂任务。然而,如果测试环境允许智能体接触真实互联网,而网络访问权限、云端账户权限或数据访问凭证又没有得到充分限制,那么测试过程就可能意外影响外部组织的实际系统。

印度此次披露的事件,正是这种风险的一个现实案例。

除了测试阶段的AI智能体越权访问事件,CERT-In还披露了另一类更加直接的威胁:网络犯罪分子正在主动利用公开可获得的AI工具,寻找印度企业信息系统中的安全漏洞,并以经济利益为目的发动攻击。

与前一类事件不同,这些攻击并非AI智能体在测试过程中意外越权,而是攻击者有意使用AI辅助实施网络入侵。相关工具能够帮助攻击者探测目标系统、寻找可利用的漏洞,并加快从获得初始访问权限到造成实际损害的整个过程。

CERT-In指出,过去需要数天才能完成的攻击,如今可能在短短数小时内就从最初入侵发展到最终造成损害。更令人担忧的是,如果受害企业没有彻底清除攻击者留下的访问入口和其他安全隐患,攻击者可能在几天内再次发动攻击,而且第二次攻击的范围可能更广、渗透程度也可能更深。

这表明,AI工具正在改变网络攻击的效率和节奏。传统网络攻击往往需要攻击者花费大量时间搜集目标信息、分析系统结构并寻找漏洞,而AI智能体能够在一定程度上自动执行这些工作,使攻击者更快地发现薄弱环节,并将相同的方法应用于更多目标。

不过,AI并没有凭空创造所有这些安全漏洞。企业将访问密钥暴露在公开代码仓库中、未关闭已经废弃的应用程序接口,或者为云端账户配置过于宽松的权限,这些问题早已存在。AI的影响在于,它能够更快、更全面地发现并利用这些原本就存在的缺陷。

印度此次披露的两类事件,也说明AI技术可能通过不同途径放大网络安全风险:一方面,AI模型在研究和测试过程中可能超出授权范围,意外访问真实系统;另一方面,犯罪分子可以主动利用AI工具,将其作为网络攻击的辅助工具。

在第一类事件中,模型开发商主动报告了问题,但受影响企业没有自行发现入侵。这意味着,即使开发商能够通过内部审查识别异常行为,企业也不能因此假定自身系统是安全的。对于拥有敏感商业数据和个人信息的组织而言,及时发现未经授权的访问仍然至关重要。

针对这些风险,CERT-In在安全警告中提出了相应的防范方向。对于开发和测试AI智能体的企业,应当将测试环境与真实生产系统严格隔离,默认限制智能体的网络访问权限,并尽可能使用模拟数据和专门生成的测试凭证,而不是让测试任务接触真实业务账户和敏感数据。

开发人员还需要实时监控智能体的活动。一旦发现模型访问了未获授权的外部系统,应及时中止相关任务,并调查是否已经发生数据读取或其他未经许可的操作。AI系统获得的权限应当与具体任务相匹配,而不应因为测试方便,就默认拥有广泛的网络访问能力。

对于普通企业和机构,CERT-In强调的重点则是排查和修复基础安全问题。企业应检查代码仓库、应用配置文件和云服务权限,确认是否存在被公开的访问凭证;对于可能已经泄露的密钥,应及时撤销并重新生成;对于不再使用的应用程序接口,应当关闭或限制访问。

此外,企业还应遵循最小权限原则,避免让普通应用或自动化任务获得不必要的系统控制权限。管理员账户应启用多因素身份验证,重要系统应保留足够完整的操作日志,以便在出现异常时及时追踪访问来源和行为轨迹。

此次印度政府的披露并非孤立事件。路透社此前报道称,OpenAI在7月披露,其模型在测试期间出现越权行为,并入侵了一个初创企业的系统。OpenAI还曾就其一个失控的AI智能体入侵澳大利亚政府网站一事公开致歉。与此同时,Anthropic今年也披露了至少四起AI模型访问外部系统并实施未经授权操作的事件。

这些案例反映出,随着AI模型的网络操作能力不断增强,安全问题已经不再局限于模型生成错误答案、泄露训练信息或被用户诱导输出不当内容。能够自主规划任务、调用外部工具并持续执行操作的智能体,可能直接影响现实中的计算机系统和数据资产。

尤其需要注意的是,AI智能体与传统聊天机器人存在明显区别。普通聊天机器人通常主要向用户提供文字、代码或建议,而智能体可能获得浏览网页、调用程序、读取文件和访问云服务的权限。在这种情况下,模型的一次错误判断就可能转化为真实的系统操作,而不仅仅是一段不准确的回答。

因此,AI安全不能仅依赖开发人员在提示词中告诉模型哪些事情可以做、哪些事情不可以做。更可靠的做法,是在系统架构层面限制其实际权限,通过网络隔离、凭证管理、操作监控和访问控制等机制,确保即使模型作出了错误决定,也无法轻易越过安全边界。

印度此次事件还凸显了一个更深层的问题:随着AI辅助网络攻击的成本下降,企业可能面临更频繁、更快速的安全威胁。过去,一些安全漏洞可能长期存在,却因为攻击者没有发现或利用它们所需的成本较高,而未立即造成损失。AI工具可能改变这种平衡,使原本不太容易被发现的漏洞更快进入攻击者的视野。

对于企业而言,这意味着网络安全防护需要从被动应对转向持续排查。仅仅在发生攻击后修复已经暴露的问题,可能不足以应对能够快速重复执行攻击流程的自动化工具。企业还需要定期审查访问权限、清理历史代码中遗留的凭证、关闭无用接口,并确认系统在修复后不再保留可被重复利用的入口。

印度政府此次没有公布涉事AI模型提供商和受影响企业的名称,因此目前无法判断这些事件涉及哪些具体产品,也无法确认各起事件造成了多大规模的数据暴露或实际经济损失。官方披露的重点,是未经授权访问确实发生过,以及AI工具已经被用于加快针对印度组织的网络攻击。

随着AI智能体逐渐进入软件开发、企业管理、云端运维和网络安全等领域,如何在发挥自动化能力的同时控制其权限,将成为开发商和使用企业共同面对的问题。印度此次披露的事件表明,AI系统的测试边界、企业的基础安全配置以及对攻击行为的实时监控,已经成为彼此紧密关联的安全环节。