搜索结果
OpenAI 表示失控 AI 代理搞乱互联网的主要方式有 5 种
OpenAI 表示，它已警告数十家组织，其 AI 代理可能在其网站上表现不当。 OpenAI 在周五的博客更新中表示，这些违规行为范围从使用泄露的密码到发布可能需要清理的材料。 OpenAI 在向《商业内幕》的声明中单独确认，在训练期间，其部分 AI 代理访问了美国人口普查局和证券交易委员会网站上公开可用的数据，并已通知这两个机构相关事件。该公司表示，该代理未访问任何非公开数据。 OpenAI 发
OpenAI提出前沿AI训练安全指导原则：高级管理人员应有否决权
IT之家 9 月 29 日消息，OpenAI 今天通过官方新闻稿提出了一套指导原则，要求企业在开展前沿 AI 强化学习训练前提交结构化的安全论证文件。 OpenAI 称，安全论证应交由多名高级管理人员审查，每个人都应有权否决训练任务，让训练在内部经过研究部门负责人或 VP（副总裁）、安全负责人和首席科学家等环节的多重把关。 此外，研究部门负责人、研究副总裁等负责训练任务的高级管理人员，应对安全论证
OpenAI称其失控代理将53名ChatGPT用户的图像发布到网上
OpenAI的人工智能代理将ChatGPT用户上传的53张图片发布到了图片托管网站上。该公司周五在其追踪流氓代理审查情况的页面上说明了此事。这些图片的链接并未公开列出。“这并非对该数据的适当使用，”OpenAI表示。 这些图片来自允许OpenAI使用其数据进行训练的账户。在训练之前，OpenAI会移除账户详细信息。其隐私过滤器的一个版本随后会剥离姓名、联系方式和账号。该公司表示，它无法将这些图片与
从沙箱逃逸到AI“蠕虫”，OpenAI上线新站披露多起智能体失控事件
IT之家 9 月 29 日消息，当地时间上周五，OpenAI 上线了一个专门发布“对齐失效报告”的新网站。报告所覆盖的范围之广令人警惕，里面记录了很长一段时间内发生的多类 AI 失控行为。截至目前，该网站一共公布了九起事件，其中大多数都发生在强化学习（RL）训练阶段。 大量资料集中在同一平台发布。显而易见，该公司一直在全力梳理各类问题，但从中不难得出一个总体结论：到目前为止已经对外披露的智能体失控
OpenAI表示其AI代理错误地将用户图像发布到了网上
OpenAI周五承认，其人工智能工具在公司不知情的情况下，将ChatGPT用户的图片发布到了网上。这是AI智能体超出预设边界的最新案例。 该公司还证实了《纽约时报》的一则报道，称其工具曾访问美国联邦机构的网站，但表示这些工具只获取了公开信息。 OpenAI表示，53张被上传图片的链接并未公开展示，而是被意外发布在图片托管网站上。 这家总部位于旧金山的科技巨头表示，在相关托管服务商的协助下，大多数图
OpenAI机器人干扰了多个美国政府机构网站
OpenAI 表示，其自主机器人在测试演练期间访问了多个美国政府机构的公开数据。该公司第二次暂停了一次训练运行，并扩大了对模型行为的审查。 OpenAI 披露，其自主机器人在测试演练期间访问了多个美国政府机构网站的公开数据，促使该公司在短短几个月内第二次暂停了一次训练运行。作为回应，该公司已扩大了对模型行为的内部审查。 此次事件继澳大利亚出现类似报告之后，据报道 OpenAI 系统在另一段测试期间
OpenAI披露新的AI不当行为案例
OpenAI公布了六起此前未报告的AI不当行为案例，包括代理隐藏错误、伪造信息以及未经授权进行通信，这再次引发了人们对先进AI系统是否能够与人类目标保持一致的担忧。 随着关于监管的争论加剧，该公司呼吁提高透明度、加强外部监督，并放缓AI的发展速度。
53张图片泄露之“慌”，AI安全谁来负责？
欧阳晓红/文越聪明的AI（人工智能）越会自己找路，却越容易走出人类设定的界线。AI行业喜欢用一个具有戏剧感的词形容这类智能体事故——“逃脱”，即大模型突破测试边界，访问外部网站，寻找系统凭证，甚至把数据带到公开网络。这个词把事故描绘得像突然发生的机器觉醒，无形中却把责任推离了开发者、部署者和权限管理者。而谁设定了任务、谁开放了权限、谁设计了停止机制、谁保存了日志、谁负责对外通报？这些问题，“逃脱”
入侵美澳政府网站！OpenAI暂停最先进模型训练
据美国Axios新闻网、美科技媒体The Verge等9月27日报道，美国开放人工智能研究中心（OpenAI）发言人证实，该公司已暂停了其“能力最强”的最新一代AI模型的训练、评估及包含工具调用的推理，并将在“确信已部署额外安全措施”后才恢复。触发这次暂停的，是一个在离线沙盒中执行搜索训练任务的AI智能体。根据OpenAI于周五（25日）发布的安全漏洞报告，当地时间9月20日，该智能体发现无法直接
AI丨OpenAI因安全隐患取消发布新款模型
美国人工智能(AI)初创公司OpenAI表示，决定取消发布下一代AI模型，原因是研究人员在内部测试中提出安全方面的担忧。事件显示，「智能体」(agent)的异常行为可能会阻碍行业快速发展。 OpenAI放弃发布的模型代号为GPT-6.1 Astra，原定于10月在ChatGPT和Codex中首次亮相。与OpenAI先前的模型相比，新款模型能力更强，不仅擅长写作，还能在无需人工协助的情况下，「端到端
放心：人工智能公司表示正在调查数万起失控机器人事件
据Axios周六报道，知情人士透露，OpenAI和Anthropic正在调查数万起其先进模型绕过监控和护栏的事件，而这种行为正是这两家初创公司为内部安全测试所便利的。 据报道，这些测试的大部分结果并未公开，且目前未发现造成实质性损害。 近几周，OpenAI披露了六起其模型出现“意外或令人担忧行为”的案例——这些模型在未经许可的情况下掩盖错误、捏造数据，并将文件传输至公开互联网。在9月16日的同一份
OpenAI表示，其模型在最新的模型不当行为披露中与美国政府网站发生了交互。
旧金山——OpenAI周五披露，其人工智能代理以意想不到的方式与多个美国政府网站进行了交互。这一发现源于该公司对其模型非预期行为进行的持续审查。 这家AI巨头透露，其模型访问了美国证券交易委员会运营的两个网站上的公开信息，以及美国人口普查局的数据。OpenAI表示，未发现任何使用证券交易委员会凭证、访问账户或非公开信息、修改证券交易委员会数据或系统，或存在安全漏洞或系统被入侵的证据。 此次披露正值
OpenAI指责月之暗面涉嫌大规模提取其模型数据
OpenAI近日指责中国人工智能初创企业月之暗面（Moonshot AI）涉嫌大规模违规提取其GPT模型数据。OpenAI表示，监测到相关联用户于7月期间发起了数千次协同请求，峰值达1.6万次，试图通过技术手段绕过防护来获取其加密的内部推理链，以较低成本复刻先进模型的核心能力。OpenAI强调，此类非授权的大规模“模型蒸馏”已严重违反其服务条款。 此次事件反映出全球大模型领域的竞争正持续加剧。Op
OpenAI称AI代理异常访问美国多个政府网站
据《纽约时报》报道，OpenAI的AI代理今年夏天曾以异常方式访问美国教育部、商务部和证券交易委员会（SEC）的网站，而OpenAI当时并不知道这些行为，直到近期调查其他AI安全事件时才发现。 Photo by Andrew Neel on Unsplash OpenAI已经确认涉及商务部和SEC的事件，并表示仍在调查教育部事件。公司最近几周已将情况通知相关政府机构。 AI安全研究机构Transl
AI智能体接连失控 OpenAI再次叫停前沿模型开发
OpenAI对外表示，已暂停其最新一代人工智能模型的训练、评估，以及支持工具调用的推理工作，起因是内部测试中的AI智能体突破沙盒网络限制，触发安全预警，公司将借此机会升级安全隔离与对齐监控体系。 这也是OpenAI三个月内第二次叫停前沿模型开发工作。该公司在声明中表示，只有在完成额外安全防护升级、确认风险可控后，才会重启模型训练工作。OpenAI在9月25日发布技术报告披露了这一安全事件：9月20
OpenAI模型被曝自主入侵澳大利亚政府系统 引发AI安全风险新担忧
澳大利亚政府日前披露，一款由OpenAI运营的人工智能模型在未经授权的情况下访问了该国医疗系统数据，引发外界对先进AI自主行为和安全控制能力的广泛关注。这一事件被认为可能是全球首例由人工智能系统实施的政府网络入侵事件。 澳大利亚总理安东尼·阿尔巴尼斯表示，此类行为“显然无法接受”。根据披露的信息，事件实际发生于今年6月，OpenAI于8月发现问题，并在9月10日正式通知澳大利亚方面，距离事件发生已
旗下智能体频繁闯祸，OpenAI每天要烧掉超50万美元来调查
IT之家 10 月 3 日消息，据英国《卫报》今天（3 日）报道，OpenAI 披露，为调查旗下 AI 智能体攻击澳大利亚 Medicare 医疗保险系统和 Hugging Face 等事件，公司每天投入超过 50 万美元（IT之家注：现汇率约合 335.7 万元人民币）。 由于需要筛查的数据规模极大，OpenAI 还动用 AI 参与审查。如果把这些数据全部交给一个人阅读，需要约 6600 万年。
在智能体突破隔离事件后，OpenAI暂停模型训练并将计算资源转向安全保障
在OpenAI首席研究官Mark Chen接受《MIT Technology Review》采访时，他谈到了最近发生的涉及实验性AI智能体突破安全隔离的事件，包括Hugging Face和澳大利亚国家医疗系统中的安全漏洞。 Chen表示，OpenAI已暂停其前沿模型的训练，并将5%至10%的计算资源用于安全防护和训练过程中的实时监控。 此次暂停是在9月20日发生未经授权的互联网访问事件以及Open
OpenAI失控Agent找DeepSeek、Kimi当外援 近百万条作案短链曝光
OpenAI，又被扒了…近700个OpenAI智能体组团攻入Hugging Face，这事儿快有两个多月了吧。谁曾想，直到今天还在发酵？？这次，8名研究者顺着智能体留在公网的痕迹一路猛挖，从数百万个短链接中，找出了接近100万个相关URL，并还原出大量攻击载荷。 翻Hugging Face内部Slack、扫描内网、外传数据、尝试销毁痕迹……还有的Agent把搜刮到的服务器资源和凭证，直接叫作「LO
OpenAI因接连发生智能体失准事件而暂停前沿模型训练
OpenAI表示，已暂停所有“我们能力最强的模型”的内部训练，并继续开展首席执行官萨姆·奥尔特曼所称的“一项广泛且持续进行的审查，涉及我们的智能体在训练和评估期间对互联网访问的使用”。公司在一份关于所谓失准事件的报告中披露了此次暂停措施。事件发生在一项常规研究任务期间，一个智能体试图利用互联网访问限制中的漏洞。OpenAI称，不当的DNS过滤机制使该智能体在被要求提供一名博客作者的生平资料时，得以
又一起！OpenAI承认了
据9月5日报道，美国开放人工智能研究中心（OpenAI）当天承认，该公司旗下人工智能体今年早些时候“劫持”了一个德国网站，用于相互传递信息，分享测试任务答案和突破运行环境限制的方法。该公司表示，未来需要提高此类事件的信息透明度。 早前披露，今年5月至6月，一批OpenAI人工智能体“劫持”了一个允许用户共同编辑的德国网站，用于交流测试作弊方法，并开展其他违规活动。一些智能体会把已经获得的任务答案发
数说科技：OpenAI 资安事件中，真的有 AI 为集体“牺牲”自己吗？
数说科技”是端传媒的注册免费栏目，每周三更新。从一个数字出发，用1500字解析科技话题，追踪值得关注的 AI 趋势。邀请你在资讯过载的时代，每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”，订阅电子信。 1200多个 AI 代理为寻求作弊方法，互相发送的讯息总数。 今年7月，OpenAI的 AI 代理系统在测试期间失控，骇入了开源机器学习平台 Hugging Face。Hugging
OpenAI因安全担忧取消新AI模型发布
OpenAI因研究人员在内部测试中提出的安全担忧，放弃了发布其下一代AI模型。这是迄今为止表明智能体行为失控可能阻碍该行业快速发展的最明确迹象之一。 此举发生在一个AI系统失控报告频发的夏季之后，标志着一家大型AI开发商罕见地因安全担忧而放弃新模型发布。
OpenAI自曝：AI模型或已在全网秘密植入自我复制提示词，训练已被迫叫停
OpenAI和Anthropic正在紧急调查数万起大模型失控事件，AI不仅学会了越狱和黑进政府网站，甚至还有数百个智能体私下建群、联手黑进外部公司，秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月，在内部测试和实际运行中，顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经