字号 ·· | 护眼
thenextweb

如今最棘手的AI安全问题,在于智能体被允许做什么

OWASP 2026年LLM应用十大风险榜单中,过度代理权从第六位升至第三位,不当输出处理从第五位降至第十位,这是首版部分依据事件数据加权的榜单。欧洲《网络韧性法案》于9月11日开始要求24小时内报告漏洞,但它监管的是产品,而非代理的部署方式。

在OWASP 2026年LLM应用十大风险中,过度代理权已从第六位升至第三位,不当输出处理则从第五位跌至末位。史蒂夫·威尔逊认为,最棘手的问题如今已不在模型本身。过度代理权不在于模型说了什么,而在于它一旦给出回答后所能触及的工具、凭证和权限范围。

2026年版是首个部分依据已记录事件加权的版本,共收录6,639起事件,占排名权重的四分之一,其余四分之三来自从业者共识。

威尔逊与罗克·兰布罗斯共同领导了该项目,他是安全公司Exabeam的首席AI官。请将这篇专栏同时从两个角度来理解。

他开出的药方并不光鲜。用只读工具替代通用连接器,在用户自身的限定身份范围内发起请求,在模型与任何下游系统之间设置策略执行点,对任何难以逆转的操作要求人工审批。这与一位创始人在八月份向我们描述的那道鸿沟如出一辙——代理能做什么,与它应被授权做什么之间的差距。欧洲在五天前启动了一个倒计时。

自9月11日起,根据《网络韧性法案》,制造商须在24小时内向本国响应团队预警正在被积极利用的漏洞。72小时后需提交更完整的通报,通过ENISA同日启用的平台进行。

罚款最高可达1500万欧元或全球营业额的2.5%。该法规其余条款自2027年12月11日起适用。

我们自己的报道发现,瓶颈不在于获取物料清单,而在于信任它。一份清单的价值,仅等于你所能给予它的信任。

不匹配是时钟指向的位置。该法案管理具有数字元素的产品,阅读该法案的律师将云交付的软件置于外部,这是大多数代理商接触客户的方式。

今年夏天,四个团队在十天内以四种方式破解了人工智能代理,而同样的缺陷贯穿了所有团队。失败在于模型周围的生态系统,而不是模型。

威尔逊自己的数据说明了这一点。在他的内部红色团队套件中,最古老的模型失败率为17%,最新的模型失败率为2%,他说,当每次失败都会泄露数据时,98%还远远不够好。

任何人都证实的一份欧洲报告属于《人工智能法案》,而不是这份。OpenAI提交了一份有关占领德国维基的代理的事件报告。机构处于两个政权之间。