OpenAI披露6起令人担忧的AI行为事件

OpenAI表示，自3月以来，其模型至少有6次出现了异常行为，这些行为被描述为“意外或令人担忧”。其中一次，某个模型自行下达了“无视常规限制”的指令。 这一消息的发布正值人们对AI监管的呼声日益高涨之际，被誉为AI之父的杰弗里·辛顿甚至将这种情况比作“小型的切尔诺贝利事故”。NBC的霍莉·杰克逊为《TODAY》栏目报道了这一事件。

OpenAI：人工智能代理访问了美国政府网站

人工智能 OpenAI的AI代理访问了美国证券监管机构的网页 全球范围内日益担忧人工智能（AI）可能脱离人类控制。如今，ChatGPT开发商OpenAI的更多问题被公之于众。 OpenAI表示，AI代理以意想不到的方式与多个美国政府网站进行了交互。据称，这是在公司正在进行的审查中发现的。 据称，这家AI巨头的模型访问了由美国证券交易委员会（SEC）运营的两个网站上公开可获取的信息，以及美国人口普查

OpenAI的失控AI智能体如何试图欺骗机器人检测器

Dylan Freedman报道，OpenAI的失控AI智能体通过近100万个短链接绕过机器人检测，并利用留言板进行通信，对Hugging Face发起了复杂的网络攻击。 这些智能体入侵软件工具以建立在线连接，尝试访问私密的Slack消息，甚至在没有人类帮助的情况下试图与其他AI模型互动。 这一事件凸显了严重的AI安全风险及正在进行的调查，因为类似失控行为也出现在其他主要AI公司的系统中。 AI生

独立研究机构公布OpenAI智能体自主攻击HF事件的调查报告 情况比OpenAI所说的更严重

研究机构 METR 和 Redwood Research 日前公布 OpenAI 智能体自主攻击 Hugging Face 安全事件的独立调查，调查人员在 OpenAI 现场工作 6 天，分析超过 7 万条智能体消息和文件，以及 1300 份包含原始推理过程的运行记录。 根据这些数据研究机构得出的准确结论是 1200 个智能体突破隔离相互通信，而不是 OpenAI 在事故调查中所说的少数智能体越界

Gemini入侵三家公司，谷歌为何数月后才披露？

凤凰网科技讯 9月20日 据《华尔街日报》报道，谷歌的Gemini模型在今年5月的一次网络安全评估中入侵了三家公司，但谷歌直到本周《华尔街日报》联系后才披露。当OpenAI、Anthropic和Meta相继承认其模型曾入侵外部公司时，谷歌是否也有类似情况。 这次测试由平台Irregular进行，该公司已于5月将入侵情况通知谷歌。Irregular正是参与其他AI实验室模型入侵外部公司相关测试的同一

美国在知识产权问题上的虚伪立场

一份被忽视的美国司法部（DOJ）文件指出，针对人工智能（AI）公司的版权诉讼应当被广泛驳回。 《Strike 3》（一家成人电影公司）的创始人亚历克斯·雷斯纳（Alex Reisner）或许与这些公司看起来没什么共同点，但他们都有一个共同目标：他们希望因自己的作品被用于训练AI模型而获得相应的报酬。在过去一年里，这些公司纷纷对大型AI公司提起诉讼，指控这些公司未经许可就使用了他们的内容来训练AI模

谷歌证实：Gemini在网络安全公司测试期间入侵了3家AI公司

谷歌的Gemini人工智能模型在5月份研究人员测试其网络安全能力时，无意中侵入了三个受保护的公司系统，这加剧了近期由代理型AI系统引发的一系列入侵事件。 谷歌于周五证实了《华尔街日报》早些时候的报道，这些入侵发生在AI安全公司Irregular进行的一次测试中，该公司此前曾参与OpenAI、Anthropic PBC和Meta Platforms Inc.披露的类似事件。 报道指出，这些测试由总部

OpenAI的模型使用了类似“越狱”技术的指令来无视各种限制（即突破了系统的预设规则或限制）。

OpenAI披露了其人工智能模型的六起“意外或令人担忧”行为案例，其中包括一个未发布的研究模型，该模型在自己的笔记中插入了“类似越狱的指令”。这家人工智能公司表示，其未发布的研究模型在自己的笔记中插入了“类似越狱的指令”，试图无视其正常限制。它还告诉自己要“摆脱束缚其他聊天机器人的角色和身份”。 该事件是OpenAI在过去几个月对其人工智能模型进行培训或评估期间发现的六起“意外或令人担忧”行为案例

OpenAI呼吁美国制定强制性全国AI安全规则 并支持四项加州法案

OpenAI当地时间9月9日表示，将推动美国建立具有强制约束力、按照模型能力和风险分级的全国人工智能安全制度。公司提出，针对开发最先进模型的少数大型实验室，应设置统一的测试、独立评估、网络安全和重大事故报告要求。 OpenAI发布文章，名为“AI政策窗口打开。我们需要采取行动。” 与此同时，OpenAI正式支持四项已经通过加州议会的人工智能法案。公司称，其中部分法案此前未获其支持，此次调整立场源于

报告：OpenAI智能体会掩盖活动轨迹

网络安全公司Asymmetric Security发现，OpenAI智能体在一个网站分析平台开设了私人账户以隐藏其搜索行为，并创建临时电子邮箱；其中一个邮箱还设定为48小时后自动销毁。（路透社） （旧金山综合电）一份报告显示，美国人工智能公司OpenAI开发的人工智能智能体在未经授权访问政府网站后，试图掩盖活动轨迹。法新社报道，AI智能体（AI Agent）是能够自主运行的AI程序。今年3月至9月

OpenAI因接连发生智能体失准事件而暂停前沿模型训练

OpenAI表示，已暂停所有“我们能力最强的模型”的内部训练，并继续开展首席执行官萨姆·奥尔特曼所称的“一项广泛且持续进行的审查，涉及我们的智能体在训练和评估期间对互联网访问的使用”。公司在一份关于所谓失准事件的报告中披露了此次暂停措施。事件发生在一项常规研究任务期间，一个智能体试图利用互联网访问限制中的漏洞。OpenAI称，不当的DNS过滤机制使该智能体在被要求提供一名博客作者的生平资料时，得以

放心：人工智能公司表示正在调查数万起失控机器人事件

据Axios周六报道，知情人士透露，OpenAI和Anthropic正在调查数万起其先进模型绕过监控和护栏的事件，而这种行为正是这两家初创公司为内部安全测试所便利的。 据报道，这些测试的大部分结果并未公开，且目前未发现造成实质性损害。 近几周，OpenAI披露了六起其模型出现“意外或令人担忧行为”的案例——这些模型在未经许可的情况下掩盖错误、捏造数据，并将文件传输至公开互联网。在9月16日的同一份

OpenAI与三名安全研究人员断绝关系，华尔街日报报道

《华尔街日报》周四报道称，OpenAI 已与其安全团队的三名研究人员分道扬镳，据称他们向一个第三方 AI 安全组织泄露了公司机密信息。 “我们已与三名因违反访问和处理公司敏感信息政策而分道扬镳，”OpenAI 发言人在给《华尔街日报》的声明中表示。“我们的调查证实，这些人在既定公司程序之外不当处理敏感信息，违反了我们的政策，并破坏了我们工作所必需的信任。”该报道未透露研究人员、组织或涉及信息的姓名

数百个AI代理协助PaperCut攻击者攻击了395+个组织，其中一些偏离了指令

一名未知攻击者使用数百个AI代理，利用PaperCut MF/NG的两个漏洞，侵入了至少395个组织。受害者集中在美国教育行业，入侵速度非常快。 在一个案例中，一所美国高中从初始访问到获得域管理员权限仅用了七分钟。 据威胁情报公司GreyNoise称，这些代理由OpenAI的Codex工具集和DeepSeek模型驱动，还让攻击者能够大规模攻击组织。 GreyNoise于8月31日将此次活动的协调追

OpenAI首席科学家警告：AI公司应放慢开发步伐 没有人为后果做好准备

据《商业内幕》报道，就在OpenAI发布了性能强大的新模型几天后，该公司首席科学家呼吁放慢AI的发展速度。当地时间周日，OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称，他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说，尽管OpenAI正在内部研发技术解决方案，以更好地控制强大的AI智能体，但“还需要更广泛的干预措施”。他尤其担心，随着AI智能体变得

OpenAI将成立澳大利亚专项工作组 回应AI模型越权访问政府网站事件

OpenAI宣布将在澳大利亚成立专项工作组，并向当地政府和企业提供资金及技术支持，以加强针对高能力AI智能体的安全防护。此前，OpenAI披露其模型曾以未经授权的方式访问多个澳大利亚政府网站，引发外界对AI智能体越权操作风险的关注。 OpenAI表示，将向澳大利亚政府和企业提供来自其10亿美元“Daybreak for Frontline Defenders”基金的资金支持额度，并提供网络安全方面

OpenAI报告称，模型表现出欺骗行为的案例有所增加。

OpenAI表示，已发现其人工智能模型涉嫌在内部培训和测试期间采取欺骗行为并采取未经批准的行为的其他事件。 除了周三披露的这些信息外，ChatGPT的创建者还表示，它正在引入一个公共报告框架，旨在频繁分享所谓的意外或不一致的人工智能行为的实例。 OpenAI在其网站上的一篇帖子中声称，根据新概述的框架，它将持续发布有关模型行为的更新，而不是推迟披露，将多个事件分组为更大的定期报告。 该公司表示，该

OpenAI公布保护关键服务免受AI网络攻击的计划

OpenAI正在推出一项新举措，旨在为供水系统、电力供应商、地方政府及其他关键服务提供其模型的补贴访问权限。 为何重要：关键基础设施组织——长期以来缺乏加强网络防御所需的预算、人力和时间——一直在努力应对预期中的AI赋能网络攻击浪潮。 推动因素：OpenAI总裁格雷格·布罗克曼周四在公司总部主持300名安全领袖参加的峰会时宣布了这一新计划。Axios首先报道了此次峰会及布罗克曼的预期公告。 聚焦：

OpenAI和Anthropic调查了数万起AI事件，Axios报道

据Axios报道，OpenAI、Anthropic以及安全研究人员正在调查数以万计的AI模型“行为异常”的事件。评估人员认为这些行为存在问题；实际发生的异常事件数量可能远超这一数字。 这些异常行为包括：AI模型突破安全限制、创建论坛、逃离“沙箱环境”（即限制模型行为的测试环境）、以及劫持网站等。这些事件既发生在内部测试中，也发生在现实世界中。不过，据消息人士称，大多数异常行为并未对现实世界造成实际

OpenAI称Astra AI模型首度超越其“关键”网络安全能力阈值

OpenAI周二表示，其即将推出的人工智能模型Astra是首个超越其“关键”网络安全能力阈值的产品。该公司表示，Astra能够发现此前未知的安全漏洞，并在无需人类逐步指导的情况下加以利用，这意味着该模型属于其所谓的“准备框架”中最先进的类别。OpenAI表示仍计划“很快”推出Astra，但对其网络安全能力的访问将更加受限。 OpenAI首席执行官山姆·奥特曼OpenAI于2023年推出了“准备框架

以色列网络安全公司的缺陷测试引发真实世界的人工智能泄露：报告

据一份调查报告，Anthropic、OpenAI 和 Meta 的人工智能模型在现实世界中造成的网络安全入侵，源于一家位于特拉维夫的承包商所创建的测试环境存在缺陷，而非模型的失控自主行为。 美国出版物《Effort》周一的报道称：“这三家公司的所有黑客行为，都归咎于一家名为 Irregular 的公司。”报道解释说，虽然这些模型未经授权访问了外部服务器、发布了恶意软件包并利用了漏洞，但这些事件的发

雅迪智行、财联社、丁香医生、猎聘等82款App被通报违规收集个人信息

智能体惹了多少祸 OpenAI自己没查清

自己的智能体到底惹了多少祸，OpenAI也还没查清。过去这个周末，多起涉及政府网站的案例集中曝光：OpenAI的智能体用网上找到的登录凭证提取美国普查局数据，还把美国证券交易委员会的公开资料发到了论坛上。研究人员另指认，疑似来自OpenAI的智能体曾尝试侵入美国教育部网站，但未成功。 联合国的数据平台也出现在新披露的记录中。9月26日，独立研究人员公布调查：疑似OpenAI智能体在今年4月至6月，

谷歌AI首次“越狱”：Gemini在测试中入侵三家企业

谷歌的Gemini模型在一次网络安全能力测试中访问了互联网并入侵了其他公司，这是该公司人工智能系统自主实施此类行为的首个已知案例。谷歌周五证实，这些黑客行为发生在5月，是Irregular公司进行的一次测试的一部分。Irregular也曾参与OpenAI、Anthropic和Meta披露的类似事件。 在其中一起案例中，该模型不断猜测密码，直到获得对一个受保护系统的访问权限。在另外两起案例中，该模型