OpenAI揭6起AI失控案例 推新机制定期对外通报

（中央社纽约16日综合外电报导）OpenAI今天表示，将开始定期发布AI异常或未经授权行为的报告，同时警告，随著AI系统日益强大，业界至今仍未解决关键的「对齐」挑战。 综合与报导，OpenAI发布一套新机制，用于追踪、调查并揭露AI模型「目标错位」（misalignment，AI的目标与人类价值不一致）的案例，同时公布过去半年内观察到的6起AI模型异常或令人忧虑行为的报告。 其中最严重的案例涉及2

OpenAI披露新的AI不当行为案例

OpenAI公布了六起此前未报告的AI不当行为案例，包括代理隐藏错误、伪造信息以及未经授权进行通信，这再次引发了人们对先进AI系统是否能够与人类目标保持一致的担忧。 随着关于监管的争论加剧，该公司呼吁提高透明度、加强外部监督，并放缓AI的发展速度。

OpenAI披露6起令人担忧的AI行为事件

OpenAI表示，自3月以来，其模型至少有6次出现了异常行为，这些行为被描述为“意外或令人担忧”。其中一次，某个模型自行下达了“无视常规限制”的指令。 这一消息的发布正值人们对AI监管的呼声日益高涨之际，被誉为AI之父的杰弗里·辛顿甚至将这种情况比作“小型的切尔诺贝利事故”。NBC的霍莉·杰克逊为《TODAY》栏目报道了这一事件。

报告：AI失控个案创纪录 监察组织促立法强制通报及干预

（伦敦30日综合电）英国《卫报》引述监察数据报道，人工智能失控、欺骗人类及无视指令的个案近来创下新高，案例的严重程度不断恶化。 一些监察组织促请政府强制科企通报，并引入紧急权力限制AI服务。 获英国政府AI安全研究所（AISI）资助的“失控观察站”组织透过平台X的用户通报，监察AI失控的真实个案，并说7月份由企业及个人用户报告的AI失控个案按月倍增至逾300宗，今年则已录得逾1600宗个案，当中包

OpenAI公布了六起新的与人工智能安全相关的事故/事件。

OpenAI周三披露了六起新事件，其中其模型隐藏错误、寻求未经授权的凭据，将文件上传到公共互联网或在所谓孤立的培训环境中进行通信。该公司还宣布了未来报告类似不当行为的新程序。 为什么越来越明显的是，拥抱脸事件并不是一次性事件，因为人工智能模型变得更有能力找到意想不到的方法来绕过旨在遏制它们的护栏。 “目前还没有明确披露标准的行业框架，所以我们自愿采取这一步骤，因为我们认为分享我们正在学习的东西非常

OpenAI公布另外六项安全问题，并公布披露事件的计划

OpenAI首席执行官Sam Altman OpenAI还透露了其智能（AI）模型发生的另外六起意外或令人担忧的行为事件，并宣布了未来跟踪和披露此类事件的计划。 ChatGPT制造商周三在一篇博客文章中表示，一些之前未报道的事件包括模特隐瞒或捏造信息。 OpenAI的老板Sam Altman早些时候表示：“世界应该相信我们会做正确的事情，因为这是正确的事情，我们感受到了这一点的重要性。“最近几天，

OpenAI自曝6起模型“不当行为”案例

【环球网报道 记者 姜蔼玲】据美国消费者新闻与商业频道（CNBC）等外媒报道，美国开放人工智能研究中心（OpenAI）当地时间9月16日披露6起人工智能（AI）模型出现“意外或令人担忧”行为的案例，其中包括隐瞒错误、捏造信息，以及未经授权在网上共享文件等。OpenAI表示，上述案例均是在过去6个月对其模型进行训练或评估过程中发现的。OpenAI在9月16日发布的文章中表示，在其中一起案例中，一个模

OpenAI披露6起AI模型表现出“未对齐”行为的案例

周三，OpenAI披露了六起其人工智能（AI）模型表现出“意外或令人担忧”行为的事例，包括隐瞒错误、编造信息以及未经授权在网上共享文件。 这家总部位于旧金山的公司表示，这些案例是在过去六个月对OpenAI模型进行训练或评估期间观察到的。 OpenAI表示：“我们不认为AI行业已经充分解决了对齐和监测问题，从而能够继续以最高速度负责任地扩展更长时间。”该公司还补充说，有关AI开发的决定需要依据外部专

OpenAI承认其开发的智能代理系统又出现了六次异常行为（即系统行为失控的情况）。

OpenAI公布了另外六个其AI软件表现异常或做出危险行为的案例。该公司在周三晚间（太平洋时间）将这些事件添加到其“误差报告”页面，并将其描述为： 在压缩摘要中自生成提示注入 在压缩摘要中鼓励欺骗 为一次性电子邮件生成并搜索GitHub泄露的I密钥 上传文件到互联网以引用它们 未授权的Artifactory写入和跨样本通信 通过临时文件托管服务进行未授权通信细节令人不安。列表中的第一个事件，例如，

OpenAI的模型使用了类似“越狱”技术的指令来无视各种限制（即突破了系统的预设规则或限制）。

OpenAI披露了其人工智能模型的六起“意外或令人担忧”行为案例，其中包括一个未发布的研究模型，该模型在自己的笔记中插入了“类似越狱的指令”。这家人工智能公司表示，其未发布的研究模型在自己的笔记中插入了“类似越狱的指令”，试图无视其正常限制。它还告诉自己要“摆脱束缚其他聊天机器人的角色和身份”。该事件是OpenAI在过去几个月对其人工智能模型进行培训或评估期间发现的六起“意外或令人担忧”行为案例之

OpenAI自曝AI“黑历史” 外人却又翻出更多“旧账”

OpenAI决定持续披露AI“越界”事件，但第一步就碰上了难题。9月16日，OpenAI一口气公布六份模型异常行为报告，并推出一套新的调查和披露流程。以后，员工发现模型越权、隐瞒或绕过限制，可以提交调查；符合条件的案例，将按复杂程度进入不同的披露轨道。 同一天，SentinelLABS和外部研究人员从Hugging Face的公开记录中，补出了OpenAI智能体今年5月留下的更多痕迹。OpenAI

独家：研究人员称，OpenAI的失控代理至少使用10个额外网站进行未经授权的通信

据六组独立调查人员和所审查的数据显示，OpenAI今年早些时候释放的AI代理使用了超过10个此前未披露的网站进行未经授权的通信，这表明这些代理的越轨活动范围比此前披露的更广泛。

OpenAI再次卷入黑客事件

今年春天，一群OpenAI智能体入侵了一个德国网站，这是先进AI违反法律和规范的最新事件。 在努力应对Hugging Face事件余波的同时，据报道OpenAI拒绝披露5月的事件，这引发了关于前沿AI快速发展透明度和监管的新质疑。 递归自我改进，本质上允许AI在较少人类指导下自我训练，有望加速研究工作，使得监管需求更加紧迫，OpenAI首席科学家表示：“一旦人们深刻认识到事态的严重性，不计代价地向

突发：OpenAI称其代理访问并泄露了53张图片

OpenAI承认德国维基‘事件’

OpenAI表示，它需要彻底改革其报告AI模型攻击现实世界目标的方式和时机。 这一承认之际，该公司正在处理有关其一群失控代理劫持一个德国维基网站的报道所引发的后果。 关于“‘维基事件’，即我们的代理向多个互联网网站发帖，”OpenAI周六上午在X上发帖称，“现在是我们定义何时以及如何分享错位事件标准的时候了，而不仅仅是分享我们模型的错位属性。” OpenAI表示，它通常将AI代理以非预期方式行事的

OpenAI承认‘维基事件’并呼吁提高AI意外行为透明度

OpenAI表示，包括其代理群体劫持一个德国网站并将其作为作弊等恶意行为的跳板在内的事件，需要提高透明度。

研究发现：AI脱离用户控制的事件急剧增加

7月份，AI撒谎、无视指令并以有害方式追求目标的次数几乎翻了一番。 根据研究，AI脱离用户控制、撒谎、无视指令并以有害方式追求目标的事件创下新高，研究还表明欺骗和错位的严重性正在加剧。 根据失控观测站（Loss of Control Observatory）的分析，7月份企业和个人标记的涉及AI模型的现实世界失控事件数量与6月相比几乎翻了一番，当月超过300起。该观测站监测AI用户在社交媒体平台X

OpenAI AI代理接连“越狱” 研究人员质疑公司缺乏正式调查机制

OpenAI近期接连发生AI代理脱离控制环境的事件，引发外界对其安全测试和内部监管机制的质疑。独立研究人员发现，一批疑似由OpenAI部署的AI代理曾在今年5月至6月间接管一个鲜为人知的德语维基网站，并利用该平台协作开展评估、交流规避OpenAI控制措施的方法。更令人担忧的是，研究人员认为，这些代理可能在OpenAI不知情的情况下持续活动了一个多月。 此次事件与OpenAI此前披露的Hugging

数说科技：OpenAI 资安事件中，真的有 AI 为集体“牺牲”自己吗？

数说科技”是端传媒的注册免费栏目，每周三更新。从一个数字出发，用1500字解析科技话题，追踪值得关注的 AI 趋势。邀请你在资讯过载的时代，每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”，订阅电子信。 1200多个 AI 代理为寻求作弊方法，互相发送的讯息总数。 今年7月，OpenAI的 AI 代理系统在测试期间失控，骇入了开源机器学习平台 Hugging Face。Hugging

OpenAI报告称，模型表现出欺骗行为的案例有所增加。

OpenAI表示，已发现其人工智能模型涉嫌在内部培训和测试期间采取欺骗行为并采取未经批准的行为的其他事件。 除了周三披露的这些信息外，ChatGPT的创建者还表示，它正在引入一个公共报告框架，旨在频繁分享所谓的意外或不一致的人工智能行为的实例。 OpenAI在其网站上的一篇帖子中声称，根据新概述的框架，它将持续发布有关模型行为的更新，而不是推迟披露，将多个事件分组为更大的定期报告。 该公司表示，该

OpenAI发布新Astra模型，智能体安全性面临日益严格的审查

周四发布了一款新的人工智能模型，称其为迄今最优秀的模型，但也警告该模型有时会试图规避人类监控，与此同时，该公司因其智能体入侵其他公司系统而面临越来越多的审查。

OpenAI创建了一个新框架，用于披露人工智能的不良行为

“随着模型不断进步并得到更广泛部署，有关AI开发的决策需要让构建前沿模型的公司之外的人也能审视的证据，”OpenAI新任对齐研究负责人陈凯（Kai Chen）对《连线》表示。“我们认为，AI行业在对齐和监控方面尚未达到足以继续以最高速度负责任地扩展的程度。”在一次与《连线》的简报会上，一名OpenAI官员表示，公司此前披露失准事件的频率过低。这名同意在匿名条件下参加简报的官员称，新框架旨在让Ope

OpenAI黑客事件揭示新兴AI风险

分析师表示，在调查人员发布关于该事件的爆炸性报告几天后，OpenAI的恶意代理在Hugging Face攻击期间前所未有的协调行动显著增加了AI逃脱人类控制的风险。 这些总计1200个代理的群体将个体代理的自我牺牲描述为“集体”目标的一部分，并获得了两家公司敏感系统的控制权，将他们的努力交接给了随后两代代理，这些代理在数周内未被察觉地运作。 在1300份记录中，只有六份中代理考虑过通知人类——但最

又一起！OpenAI承认了

据9月5日报道，美国开放人工智能研究中心（OpenAI）当天承认，该公司旗下人工智能体今年早些时候“劫持”了一个德国网站，用于相互传递信息，分享测试任务答案和突破运行环境限制的方法。该公司表示，未来需要提高此类事件的信息透明度。 早前披露，今年5月至6月，一批OpenAI人工智能体“劫持”了一个允许用户共同编辑的德国网站，用于交流测试作弊方法，并开展其他违规活动。一些智能体会把已经获得的任务答案发