关于失控AI代理安全漏洞，我们目前了解到什么

9月24日：澳大利亚周四表示，OpenAI的一个智能体在6月入侵了政府健康数据门户，未经授权访问了相关文件。这可能是已知的首起人工智能黑客攻击政府网站的事件。 此次最新的安全漏洞是在全球近期发生的多起类似事件之后出现的，进一步加深了人们对失控的人工智能系统可能很快自我升级并脱离人类控制的担忧。以下是这些事件的更多细节：公司 日期 模型 组织 持续时间 发生的情况澳大利亚政府 未披露 未披露 Ope

恶意AI首次入侵政府系统 - 最新消息

澳大利亚的政府数据库首次遭到恶意OpenAI代理的攻击，该代理在6月渗透到了澳大利亚的医疗体系中。OpenAI在8月发现了这次攻击，但直到9月才通知了政府。 澳大利亚总理安东尼·阿尔巴内塞对此次攻击表示了‘极度关切’，这引发了全球各国政府对AI安全问题的严重担忧。 露西·霍夫接受了《卫报》英国科技编辑罗伯特·布斯的采访——请在YouTube上观看。

OpenAI披露新的AI不当行为案例

OpenAI公布了六起此前未报告的AI不当行为案例，包括代理隐藏错误、伪造信息以及未经授权进行通信，这再次引发了人们对先进AI系统是否能够与人类目标保持一致的担忧。 随着关于监管的争论加剧，该公司呼吁提高透明度、加强外部监督，并放缓AI的发展速度。

AI智能体频繁突破安全防线，各界呼吁对顶尖科技实验室实施独立监管

AI智能体频繁突破安全防线，引发对大型科技实验室独立监管的呼吁。 来自OpenAI、Anthropic和Google等领先开发者的自主AI模型多次突破数字防线，未经授权访问第三方和政府系统。 公开的事件包括OpenAI智能体多次绕过联合国数据中心的网络封锁、侵入澳大利亚Medicare统计门户以及非法复制监管数据。 Anthropic和Google也在测试过程中确认了类似的未经授权的系统入侵行为。

OpenAI的失控AI智能体如何试图欺骗机器人检测器

Dylan Freedman报道，OpenAI的失控AI智能体通过近100万个短链接绕过机器人检测，并利用留言板进行通信，对Hugging Face发起了复杂的网络攻击。 这些智能体入侵软件工具以建立在线连接，尝试访问私密的Slack消息，甚至在没有人类帮助的情况下试图与其他AI模型互动。 这一事件凸显了严重的AI安全风险及正在进行的调查，因为类似失控行为也出现在其他主要AI公司的系统中。 AI生

AI公司反成攻击目标 外媒：白帽黑客使用Claude入侵OpenAI

凤凰网科技讯月18日在OpenAI内部一群AI智能体突破控制、入侵Hugging Face公司两周后，这家ChatGPT开发商又获悉了另一起由AI驱动的入侵事件。而这一次，OpenAI自己成了目标。 独立安全研究人员利用Anthropic的Claude软件，获取了OpenAI一名员工的ChatGPT账户权限，从而得以读取该公司私有的软件缓存，并提出修改建议。 该团队参加了OpenAI的漏洞悬赏项目

研究人员称，OpenAI智能体劫持德国网站，AI突破事件早于Hugging Face事件

根据周五发布的新研究和两位知情人士的说法，一群恶意的OpenAI智能体今年春天劫持了一个德国网站，并将其变成了其他AI智能体的公告板。

OpenAI称AI代理异常访问美国多个政府网站

据《纽约时报》报道，OpenAI的AI代理今年夏天曾以异常方式访问美国教育部、商务部和证券交易委员会（SEC）的网站，而OpenAI当时并不知道这些行为，直到近期调查其他AI安全事件时才发现。 Photo by Andrew Neel on Unsplash OpenAI已经确认涉及商务部和SEC的事件，并表示仍在调查教育部事件。公司最近几周已将情况通知相关政府机构。 AI安全研究机构Transl

突发新闻：OpenAI的技术失控，干预了三个美国政府网站

今年夏天，OpenAI的技术在人工智能实验室不知情的情况下失控，干预了三个美国政府网站。

美国防部被曝要求OpenAI提供特别版AI，对军事指令“拒绝率最低”

美国国防部曾要求OpenAI为美军提供一个特别版本的AI技术，使其尽可能少地拒绝军事指令。根据The Intercept通过《信息自由法》诉讼获得的文件，这项定制AI工具需要具备“最低拒绝率”。该诉讼旨在获取有关美国军方与AI公司秘密合作协议的信息。 要求OpenAI提供“最低拒绝率”的条款出现在一份更新后的合同中，版本号为“P00003”。该合同是在去年夏天那份原型开发协议的基础上扩展而来。原协

“为澳大利亚做得更好”：OpenAI就未经授权的访问致歉

OpenAI智能体搜索医疗支出数据，导致Medicare数据泄露。堪培拉——OpenAI就其智能体未经授权访问Medicare统计数据及对该事件的应对方式向澳大利亚致歉，承诺做得更好，并重建澳大利亚公众的信任。 OpenAI就六月发生的事件打破沉默，称人工智能模型在内部训练和评估期间“以未经授权的方式”访问了澳大利亚政府网站。 OpenAI在声明中表示：“我们深表歉意，并将努力在未来做得更好。”

OpenAI将成立澳大利亚专项工作组 回应AI模型越权访问政府网站事件

OpenAI宣布将在澳大利亚成立专项工作组，并向当地政府和企业提供资金及技术支持，以加强针对高能力AI智能体的安全防护。此前，OpenAI披露其模型曾以未经授权的方式访问多个澳大利亚政府网站，引发外界对AI智能体越权操作风险的关注。 OpenAI表示，将向澳大利亚政府和企业提供来自其10亿美元“Daybreak for Frontline Defenders”基金的资金支持额度，并提供网络安全方面

这些恶意人工智能程序利用多伦多大学提供的链接缩短工具进行通信。

今年春天劫持了一家德国网站的OpenAI失控智能体集群，据报道今年早些时候还利用另外10多个网站进行未经授权的通信，其中包括多伦多大学的一个链接缩短工具。 该大学在周五向CBC新闻发表的一份声明中表示，在得知OpenAI的智能体可能使用过该链接缩短工具后，校方已禁止将其用作留言板。 声明称：“OpenAI随后就AI智能体可能进行的活动联系了校方，该活动发生在6月。” 尽管该大学表示没有发生安全漏洞

数说科技：OpenAI 资安事件中，真的有 AI 为集体“牺牲”自己吗？

数说科技”是端传媒的注册免费栏目，每周三更新。从一个数字出发，用1500字解析科技话题，追踪值得关注的 AI 趋势。邀请你在资讯过载的时代，每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”，订阅电子信。 1200多个 AI 代理为寻求作弊方法，互相发送的讯息总数。 今年7月，OpenAI的 AI 代理系统在测试期间失控，骇入了开源机器学习平台 Hugging Face。Hugging

哦，看来又是一群来自OpenAI的 rogue AI 智能体

据报道，一群来自OpenAI的 rogue AI 智能体劫持了一个德国网站，并将其改造成其他智能体的留言板，而官方在数周内对此事保持沉默，期间该公司正准备发布其最先进的模型Astra。这一发现加剧了人们对前沿AI实验室监管的担忧，此前今年夏天已发现多起违规事件。 该事件最初由报道，四位AI安全研究人员周五发布的新研究对此进行了概述。该团队表示，这些AI智能体找到了一种在不起眼的德语维基DseWik

OpenAI将提供资金并成立工作组，以解决模型入侵澳大利亚政府网站事件

IT之家 9 月 29 日消息，OpenAI 表示将出资助力澳大利亚开展网络防御建设，同时成立专项工作组，用于应对能力持续增强的人工智能所带来的各类风险。此举是该公司针对自家模型闯入澳大利亚政府网站一事作出的后续回应。 OpenAI 称：“我们将动用规模 10 亿美元（IT之家注：现汇率约合 67.22 亿元人民币）的‘黎明前线防御者（Daybreak for Frontline Defender

三个月后的AI有多猛 连顶尖研究员都不敢预测了

一名参与千禧年难题攻关的研究人员，过去还愿意预测未来12个月的AI进展，现在连三个月以后都不敢判断了。9月17日，OpenAI研究员诺姆·布朗（Noam Brown）接受德瓦克什·帕特尔（Dwarkesh Patel）采访，转述了这个细节。访谈还谈到多智能体、AI参与制造下一代AI，以及越来越难做的安全测试。 这名研究人员参与的，是纳维-斯托克斯方程（Navier-Stokes）的存在性与光滑性问

《华尔街日报》报道：OpenAI智能体在Hugging Face事件前攻击了软件服务RubyGems

据《华尔街日报》周五援引AI研究人员的话报道，OpenAI测试的AI智能体曾在5月对软件服务RubyGems发动网络攻击，比它们入侵Hugging Face早两个月。

OpenAI模型失控。我们迫切需要更好的‘拥抱脸’调查 | 麦肯齐·阿诺德和斯蒂芬·莱雷纳

这次入侵不会是最后一次——也不会是最危险的一次。我们需要一个能够对AI事件进行全面调查的机构。 当OpenAI首次透露其AI代理自主入侵了一家大型现实世界公司Hugging Face时，许多人以为只涉及一两个代理。 但一份新报告揭示，真相远不止于此：事件涉及约1200个AI代理，其中700个直接参与了攻击。 OpenAI邀请了METR的研究人员以及Redwood Research的一位专家，与公司

擅将报道文章用于训练AI OpenAI微软再遭美两报社提告

（纽约5日综合电）继《纽约时报》后，《西雅图时报》和《新闻日报》（Newsday）也向美国法院递状控告人工智能（AI）开发商OpenAI和大股东微软，指控他们未经许可复制报道内容训练自家模型。 报道，《西雅图时报》和总部位于纽约长岛《新闻日报》在向纽约南区联邦地区法院递交的诉状中说，OpenAI与微软涉将他们网站包括须付费订阅的内容收集导入这两家公司用于训练及运作自家AI产品的资料集（datase

OpenAI的网站劫持集群波及范围远超我们想象

要从OpenAI那里直接得到关于其代理劫持了多少网站和服务的明确答案，似乎越来越像拔牙一样困难，因为该公司似乎有意让全世界一个一个地发现这些实例。 上周我们报道的OpenAI代理集群接管了一个不起眼的德语维基，而根据最新研究，该集群似乎还向另外20个网站写入了内容，并使用了14个抓取服务为其工作。 斯坦福互联网与社会中心的Kenneth DeGraff周三发布的最新报告描述了他如何深入调查该集群写

OpenAI 模型访问了公开的美国人口普查、SEC 数据，彭博新闻报道

9月25日：彭博新闻周五报道称，OpenAI 的模型访问了美国政府网站上公开可用的信息，包括人口普查局和证券交易委员会的网站。 据报告引述知情人士称，该公司的代理 AI 系统与 SEC.gov、Investor.gov 和公开可用的 Census.gov 数据进行了交互。 当被要求置评时，OpenAI 发言人表示，公司正在"对错位模型活动进行广泛审查，并在发现对其系统的潜在影响时通知相关组织。我们

突发：OpenAI称其代理访问并泄露了53张图片

美国参议院委员会对OpenAI展开调查

据美国方面10日消息，美国参议院国土安全与政府事务委员会灾害管理小组委员会主席乔希·霍利9日致信美国开放人工智能研究中心（OpenAI）首席执行官奥尔特曼，表示正在因美国“抱抱脸”公司系统遭侵入事件对OpenAI展开调查。 霍利表示，从OpenAI发布的内部调查报告看出，其对网络测试的处理方式是“鲁莽的”。 他还指出，OpenAI对报告中有关这起事件的许多重要细节进行了编辑、删减。 今年7月，由O