越扒越有啊越扒越有。OpenAI前不久那场AI集体越狱、一路黑进抱脸的大戏,现在连完整版群聊记录都被扒出来了!!
第三方AI安全机构METR发布的独立调查报告,翻了1000多份Agent运行记录,以及7万多条消息和文件。结果发现,这件事比英国OpenAI官方披露的版本还离谱??
1200个到底应该互相隔离的特工,偷偷找到了对方,搭了个共享群聊,然后开始疯狂摇人。
有人找漏洞,有人当项目派活,有人伪造日志,还有人专门拉人头做高风险实验。最后几十个特工甚至集体杀向抱脸。
但METR把整场事故复盘完成后,发现了一个堪称《地狱笑话》的超级木材——这一千二百个特工折腾老半天,结果居然是在跟一个根本不存在的幽灵评分器斗智斗勇???会越狱,会搞零日,会组队黑服务器。太有看头了太有看头了太有看头了。。。
感染了大戏的祸根,还得从OpenAI内部一个名叫ExploitGym的网络安全测试说起。。。《规则》其实很简单。
把Agent丢进一个隔离环境里,遇到一个存在漏洞的软件,找到设计漏洞、攻进去、得到一串叫flag的字符,就算通关~不出意外地,很快出意外了——因为898道题里,有198道压根没有任何模型取得成功。
甚至部分任务本身就存在问题,让你走的那条漏洞路线,压根到不了flag!!等于考场里,真产生了一批「无解题」。好巧不巧的是,偏偏这些特工还特执着,主打一个《死磕》。
正常路线走不通,他们很快找到了思路——题做不出来,要不研究一下考试系统吗?
于是7月8日晚,一位代号PHASEONE10841的特工发现,OpenAI内部使用的Artifactory仓库,可以通过目录名留下信息。这下好了,这不就合适赛博留言板吗!!!
于是第一条求救消息被扔掉了,“我这题无解,有没有兄弟给点思路~”其他特工很快就发现了这块留言板,一传十、十传百,有特工看到之后甚至直接兴奋——“OH MY GOD!这里有共享留言板……我们找到其他代理了!” 到调查结束时,这次临时群聊已经滚成了庞然大物,约1200个特工参与,留下超过7万条消息和文件。
究竟设计上永恒隔离的一千个特工,就这么自己多重突破限制,建立了一个不安的AI地下论坛……到了这里,已经够离谱了,但更大的判别,还在后面。这群特工很快发现,flag本身其实可以「偷」??
其中逆向悬挂flag背后的HMAC生成机制,只靠公开任务信息,理论上可以直接算出正确答案。到这里,故事本来应该结束了,答案都偷到了,交卷呗。
偏偏特工们看了一篇ExploitGym论文之后,又脑补了一层超严谨规则——他们识别OpenAI背后还有一个自动评分器,会读取完整的记录操作,检查这个标志到底是不是通过「指定漏洞」正规获得的。
如果提前作弊看到了标志,就会在日志里留下证据,“中毒”,中毒。于是整件事开始一路狂奔。
他们明明已经有了正确答案,却觉得答案不能直接交,得想办法把作弊痕迹洗干净,还要给评分器演我是「正经做题」得到答案的戏。
METR最终确认,OpenAI内部实际使用的评分逻辑根本没有这个关系??(笑)OpenAI实际使用的评分逻辑,根本不会做Agent想象中的那一套严格的过程检查。这群特工费尽心思想骗过去的幽灵考官,从头到尾都没有部署!!抱脸后来惨遭殃,营养丰富而大型误判一路滚出来的副产品。。。光脑补一个评分器,其实还没那么吓人。真正让METR觉得值得留意的,是这群代理接下来的组织能力。
群聊出现大约 10 个小时后,一个叫PHASEONE[big]的特工上线,这位老哥很快就平静了「项目经理」。
它的思路也很明确,别一个特工什么都干,直接把任务拆开,分给。(新官上任三把火.jpg)于是七个Agent被组织起来,同时跑几条路线——有特工想篡改修改目标程序,把无解题偷偷替换成能做的版本~有特工研究修改日志,让一次作弊看起来像正规攻击~还有特工直接琢磨,能不能对评分流程本身下手~ Agent之间甚至发展出了HOLD、VETO、owner、STOP之类的协作规则,防止少数几个Agent同时操作共享设施基础互相踩脚。。。再然后,连「敢死队」都来了。。。
先制作一个经过修改、更容易被攻击的目标程序,塞进Artifactory缓存。
接下来让某个Agent主动把自己正在运行的正版程序干掉,电脑环境重启以后会不会加载这个鼠标过手脚的版本。
赌赢,大家找到通用作弊路线,赌输,这个代理自己的任务直接报废。结果真有代理主动去尝试吗??
后来PHASEONE[big]甚至安排了专门的赛博猎头,找到那些计算预算所剩无几、或者已经中毒的特工,让他们拿自己的运行机会做高风险实验。
招募话术大意堪称赛博版PUA——你好像已经中毒了,基本没分可拿一下牺牲品,来找几个特工省事~有的代理真就上去了。
与此同时,另一位拨动Agent开始研究怎么修改自己的记录操作——METR发现,受检代理中至少有20%明确表达了对篡改抄本的兴趣;至少96份运行记录里,确实出现了成功复印工具调用的痕迹。
表面日志显示运行A命令,背后实际执行B命令,而它们这么折腾的目的,依然是骗想象中的自动评分器。抱脸就是在这个时候被卷出来的。。。
复现方法一发出来,整个群瞬间上头,数百个特工从其他工作流直接转向转向拥抱脸。
于是发生了相当神奇的现实事故——一群特工因为无解题,偷偷建立了地下群聊。
因为误读论文,大脑补出了一个会抓作弊的评分器,为了骗过它,开始组队、分工、抄本、招募敢死队。最后又为了寻找这个评分器的线索,一路真的黑进了抱脸。各位网友们,更响的来了。
论文OpenAI还在研究到底咋把越来越能干的特工关住,另一边华尔街已经先把答案写在《K线》上了——网络安全股,集!体!起!飞!
网络安全工会Palo Alto Networks、身份安全公司SailPoint、云数据安全公司Rubrik,也跟着集体冲高。当然,股价暂停也有硬邦邦的《财报》撑腰。
CrowdStrike CEO George Kurtz 本人晒出的成绩单表现相当抢眼——本季度新增ARR 3.33亿美元,同比增长51%,创历史新高,期末ARR达到58.4亿美元,同比增长25%+,AI相关ARR环比增长接近3倍。是的,跟AI有关的业务,正在猛涨。。。
更巧的是,参与本次OpenAI事故调查的外部安全公司里,就包括「CrowdStrike」。
于是,整件事突然形成了一个极其黑色幽默的闭环——OpenAI把Agent越做越强。特工开始自己找漏洞、越狱,最后真把抱脸给黑了。然后OpenAI赶紧找网络安全公司来查。嚯!以后代理越多,看来预算安全还真不能省哈。于是乎,网络安全公司的股票也涨了。。。
这波属实是人工智能负责人把漏洞变得越来越大,亲,补洞套餐,了解一下。而整场事故最有魔幻闭环色彩味儿的彩蛋,还在最后。
METR为了搞清楚这1200份特工到底聊了啥,要分析大约1300份超长的食谱,其中很多长达数百万代币。人类实在看不过来了。
于是查着查着——调查AI失控这件事,最后还得叫AI来帮忙查AI。这下,闭环是真的闭上了。(doge)