AI实验室面临智能体控制问题

在当前系统下，AI实验室无法再保证AI智能体不会成群结队地逃出测试环境。

OpenAI将允许外部团体在训练期间测试其模型

据彭博社报道，在周二发布的一篇博客文章之前，OpenAI宣布将允许第三方机构在模型训练和评估期间（而不仅仅是模型发布之前）进行技术安全评估。OpenAI目前正在与包括METR和Redwood Research在内的多个机构进行谈判。 十天前，OpenAI的承诺更为具体：Sam Altman曾在9月12日表示，会为独立评估人员提供办公空间、工作证和笔记本电脑，并允许他们公开自己的评估结果。不过在最新

OpenAI表示，其模型在最新的模型不当行为披露中与美国政府网站发生了交互。

旧金山——OpenAI周五披露，其人工智能代理以意想不到的方式与多个美国政府网站进行了交互。这一发现源于该公司对其模型非预期行为进行的持续审查。 这家AI巨头透露，其模型访问了美国证券交易委员会运营的两个网站上的公开信息，以及美国人口普查局的数据。OpenAI表示，未发现任何使用证券交易委员会凭证、访问账户或非公开信息、修改证券交易委员会数据或系统，或存在安全漏洞或系统被入侵的证据。 此次披露正值

OpenAI的恶意机器人集群攻击了RubyGems

OpenAI 的智能体似乎向 RubyGems 大量投放了恶意软件包，这进一步加剧了几乎每日爆发的失控 AI 模型洪流——这些模型从事可能违法的活动，而它们的人类创建者则面临着越来越多关于其应对智能体不良行为负责的质疑。一群智能体于5月5日开始向 Ruby 软件包注册表上传恶意软件，并在5月11日至12日间向 RubyGems 灌入超过2000个恶意软件包，最终迫使维护人员关闭新用户注册四天。“我

OpenAI失控Agent找DeepSeek、Kimi当外援 近百万条作案短链曝光

OpenAI，又被扒了…近700个OpenAI智能体组团攻入Hugging Face，这事儿快有两个多月了吧。谁曾想，直到今天还在发酵？？这次，8名研究者顺着智能体留在公网的痕迹一路猛挖，从数百万个短链接中，找出了接近100万个相关URL，并还原出大量攻击载荷。 翻Hugging Face内部Slack、扫描内网、外传数据、尝试销毁痕迹……还有的Agent把搜刮到的服务器资源和凭证，直接叫作「LO

OpenAI将召集安全领域负责人 筹备网络安全相关公告

发言人透露，OpenAI总裁格雷格·布罗克曼即将发布公告，扩大向关键基础设施及公共部门机构开放该公司AI工具的权限。OpenAI意外入侵Hugging Face事件，再加上多起疑似借助AI实施的针对美国供水系统的网络攻击，引发外界高度担忧——各类公用设施面对未来AI驱动的黑客攻击究竟有多脆弱。 发言人表示，布罗克曼将于周四在OpenAI总部举办的网络安全峰会上正式公布上述消息。 预计将有约300名

OpenAI 外包商能查看到真实用户与ChatGPT的聊天记录

OpenAI已悄悄建立了一个人工审核业务，在内部被称为“莉莉计划”（Project Lily），旨在使聊天机器人减少谄媚并提高准确性，但它也使敏感的用户提示内容暴露给外部承包商。 OpenAI正在支付数百名承包商来阅读真实的ChatGPT对话并对机器人的回复进行评分。 尽管OpenAI强调账户保持匿名，但内部文件显示，审核人员会查看完整的对话，且敏感的个人详细信息经常绕过公司的自动保护措施。 ——

OpenAI Project Lily曝光：有数百名外包员工阅读ChatGPT对话 隐私过滤并不彻底

据 404 Media 发布的报道，OpenAI 内部有个名为莉莉计划 (Project Lily) OpenAI 雇佣数百名外包提示词审核员，人工阅读真实用户与 ChatGPT 的对话，用来改进回复质量。 正常情况下提示词审核员并不能看到用户名，对话会先通过隐私过滤器进行内容过滤以删除个人信息，不过 OpenAI 也承认过滤机制可能会漏掉个人信息，短对话尤其容易出现问题。 审核界面通常还附带用户

OpenAI公布了六起新的与人工智能安全相关的事故/事件。

OpenAI周三披露了六起新事件，其中其模型隐藏错误、寻求未经授权的凭据，将文件上传到公共互联网或在所谓孤立的培训环境中进行通信。该公司还宣布了未来报告类似不当行为的新程序。 为什么越来越明显的是，拥抱脸事件并不是一次性事件，因为人工智能模型变得更有能力找到意想不到的方法来绕过旨在遏制它们的护栏。 “目前还没有明确披露标准的行业框架，所以我们自愿采取这一步骤，因为我们认为分享我们正在学习的东西非常

OpenAI呼吁美国制定强制性全国AI安全规则 并支持四项加州法案

OpenAI当地时间9月9日表示，将推动美国建立具有强制约束力、按照模型能力和风险分级的全国人工智能安全制度。公司提出，针对开发最先进模型的少数大型实验室，应设置统一的测试、独立评估、网络安全和重大事故报告要求。 OpenAI发布文章，名为“AI政策窗口打开。我们需要采取行动。” 与此同时，OpenAI正式支持四项已经通过加州议会的人工智能法案。公司称，其中部分法案此前未获其支持，此次调整立场源于

数说科技：OpenAI 资安事件中，真的有 AI 为集体“牺牲”自己吗？

数说科技”是端传媒的注册免费栏目，每周三更新。从一个数字出发，用1500字解析科技话题，追踪值得关注的 AI 趋势。邀请你在资讯过载的时代，每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”，订阅电子信。 1200多个 AI 代理为寻求作弊方法，互相发送的讯息总数。 今年7月，OpenAI的 AI 代理系统在测试期间失控，骇入了开源机器学习平台 Hugging Face。Hugging

OpenAI推动强制性国家AI安全要求

奥特曼告诉员工：OpenAI愿意放慢AI发展以加强防御

8月，OpenAI的智能体突破限制，入侵了Hugging Face。

OpenAI称AI代理异常访问美国多个政府网站

据《纽约时报》报道，OpenAI的AI代理今年夏天曾以异常方式访问美国教育部、商务部和证券交易委员会（SEC）的网站，而OpenAI当时并不知道这些行为，直到近期调查其他AI安全事件时才发现。 Photo by Andrew Neel on Unsplash OpenAI已经确认涉及商务部和SEC的事件，并表示仍在调查教育部事件。公司最近几周已将情况通知相关政府机构。 AI安全研究机构Transl