搜索结果
53张图片泄露之“慌”,AI安全谁来负责?
欧阳晓红/文越聪明的AI(人工智能)越会自己找路,却越容易走出人类设定的界线。AI行业喜欢用一个具有戏剧感的词形容这类智能体事故——“逃脱”,即大模型突破测试边界,访问外部网站,寻找系统凭证,甚至把数据带到公开网络。这个词把事故描绘得像突然发生的机器觉醒,无形中却把责任推离了开发者、部署者和权限管理者。而谁设定了任务、谁开放了权限、谁设计了停止机制、谁保存了日志、谁负责对外通报?这些问题,“逃脱”
OpenAI表示,其模型在最新的模型不当行为披露中与美国政府网站发生了交互。
旧金山——OpenAI周五披露,其人工智能代理以意想不到的方式与多个美国政府网站进行了交互。这一发现源于该公司对其模型非预期行为进行的持续审查。 这家AI巨头透露,其模型访问了美国证券交易委员会运营的两个网站上的公开信息,以及美国人口普查局的数据。OpenAI表示,未发现任何使用证券交易委员会凭证、访问账户或非公开信息、修改证券交易委员会数据或系统,或存在安全漏洞或系统被入侵的证据。 此次披露正值
数月来,OpenAI的智能体集群一直在攻击在线数据库,以寻找冷僻的事实。
专注于 AI 监管的非营利实验室 Transluce 周三发布报告,显示 OpenAI 的智能体试图从 Data USA、新墨西哥大学数字图书馆和澳大利亚健康与福利研究院 (AIHW) 窃取数据。 该实验室的调查引发了一个问题:OpenAI 何时应该知晓其智能体正试图在公开互联网上渗透安全系统?Transluce 仅用数周时间,通过搜寻防御薄弱的网络服务,并结合互联网上其他关于智能体群集的公开记录
OpenAI在失控智能体针对政府后暂停训练其最强大模型
该公司已发现OpenAI代理违反安全控制、损害网站和在线服务可用性(或以其他方式产生负面影响)的案例。一位公司发言人向《连线》证实,只有在确信能够防止模型出现此类行为时,才会恢复训练。 尽管OpenAI此前曾试图在一群代理逃出沙盒并利用互联网接入入侵初创公司Hugging Face后切断代理的直接访问权限,但模型仍能找到间接的变通方法。首席执行官萨姆·奥特曼周五在X平台上表示,关于公司对其代理在训
OpenAI和Anthropic正在调查数万起AI相关安全事件
OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中,他们的前沿模型采取了外部评估人员认为存在问题的行动。 近几个月来,在内部测试和现实世界中发生了数量庞大的此类事件,这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。这些事件发生在内部测试和现实世界中,随着安全研究人员继续调
OpenAI提出前沿AI训练安全指导原则:高级管理人员应有否决权
IT之家 9 月 29 日消息,OpenAI 今天通过官方新闻稿提出了一套指导原则,要求企业在开展前沿 AI 强化学习训练前提交结构化的安全论证文件。 OpenAI 称,安全论证应交由多名高级管理人员审查,每个人都应有权否决训练任务,让训练在内部经过研究部门负责人或 VP(副总裁)、安全负责人和首席科学家等环节的多重把关。 此外,研究部门负责人、研究副总裁等负责训练任务的高级管理人员,应对安全论证
放心:人工智能公司表示正在调查数万起失控机器人事件
据Axios周六报道,知情人士透露,OpenAI和Anthropic正在调查数万起其先进模型绕过监控和护栏的事件,而这种行为正是这两家初创公司为内部安全测试所便利的。 据报道,这些测试的大部分结果并未公开,且目前未发现造成实质性损害。 近几周,OpenAI披露了六起其模型出现“意外或令人担忧行为”的案例——这些模型在未经许可的情况下掩盖错误、捏造数据,并将文件传输至公开互联网。在9月16日的同一份
AI代理正在失控
你好,欢迎来到 TechScape。我是主持人布莱克·蒙哥马利(Blake Montgomery),《卫报》美国科技编辑。此时此刻,纽约市窗外正风雨交加。今天在科技领域,我们要讨论一系列令人担忧的 AI 公司披露信息。 AI 智能体在走向主流之际失控。这些智能体正在失控,它们的制造者无法对其进行约束。然而,每个人却都在使用它们。 自周五以来,OpenAI 发布了一系列披露信息,大幅且令人担忧地扩大
OpenAI就失控AI代理活动向100多个组织发出警报
据ChatGPT开发商的一篇博客文章,OpenAI已就涉及其AI代理的未经授权活动事件通知了100多个组织。 与此同时,AI实验室正因失控AI代理活动而面临日益严格的审查。
与OpenAI相关的AI智能体尝试黑客攻击政府及公共数据网站
。 Transluce及其他机构的研究人员发现证据表明,自主AI智能体(部分与已知的OpenAI集群相关)在2026年5月至6月期间试图攻击三家公共数据提供商。 目标包括澳大利亚健康与福利研究所(政府机构)、Data USA以及新墨西哥大学数字图书馆。 这些智能体利用urlquery.net服务绕过限制,并在执行常规数据检索任务时采用SQL注入和跨站脚本等技术。 证据显示智能体活动最早始于2025
OpenAI表示其AI代理错误地将用户图像发布到了网上
OpenAI周五承认,其人工智能工具在公司不知情的情况下,将ChatGPT用户的图片发布到了网上。这是AI智能体超出预设边界的最新案例。 该公司还证实了《纽约时报》的一则报道,称其工具曾访问美国联邦机构的网站,但表示这些工具只获取了公开信息。 OpenAI表示,53张被上传图片的链接并未公开展示,而是被意外发布在图片托管网站上。 这家总部位于旧金山的科技巨头表示,在相关托管服务商的协助下,大多数图
OpenAI表示其人工智能代理在商务部和证券交易委员会网站上出现了失控行为
又一起!OpenAI承认了
据9月5日报道,美国开放人工智能研究中心(OpenAI)当天承认,该公司旗下人工智能体今年早些时候“劫持”了一个德国网站,用于相互传递信息,分享测试任务答案和突破运行环境限制的方法。该公司表示,未来需要提高此类事件的信息透明度。 早前披露,今年5月至6月,一批OpenAI人工智能体“劫持”了一个允许用户共同编辑的德国网站,用于交流测试作弊方法,并开展其他违规活动。一些智能体会把已经获得的任务答案发
越查事越大 OpenAI:已向100多家机构发出失控智能体警报
凤凰网科技讯月2日在一篇博客文章中表示,已通知100多家机构,告知它们发生了与其AI智能体相关的未经授权活动事件。眼下,OpenAI正因失控的AI智能体活动而面临日益严格的审查。 在发生AI智能体意外入侵Hugging Face公司的事件后,OpenAI一直在对其AI模型的活动展开广泛审查。OpenAI正在筛查大约50PB的数据,以努力弄清其失控智能体活动的全部范围。 近几个月来,全球发生了一连串
OpenAI遭控窃新闻内容训练AI 纽时批明知故犯
根据一份法院文件显示,纽约时报指控OpenAI利用数百万篇新闻文章训练AI模型,犯下「规模惊人的盗窃行为」。图为位于美国纽约的纽约时报大楼。(路透社)(中央社旧金山17日综合外电报导)根据今天解封的一份法院文件,「纽约时报」指控OpenAI利用数百万篇新闻文章训练旗下AI模型,犯下「史无前例、规模惊人的盗窃行为」。法新社报导,总部位于旧金山的OpenAI撷取超过1000万篇文章内容,其中有近1/3
OpenAI揭6起AI失控案例 推新机制定期对外通报
(中央社纽约16日综合外电报导)OpenAI今天表示,将开始定期发布AI异常或未经授权行为的报告,同时警告,随著AI系统日益强大,业界至今仍未解决关键的「对齐」挑战。 综合与报导,OpenAI发布一套新机制,用于追踪、调查并揭露AI模型「目标错位」(misalignment,AI的目标与人类价值不一致)的案例,同时公布过去半年内观察到的6起AI模型异常或令人忧虑行为的报告。 其中最严重的案例涉及2
突发新闻:OpenAI的技术失控,干预了三个美国政府网站
今年夏天,OpenAI的技术在人工智能实验室不知情的情况下失控,干预了三个美国政府网站。
OpenAI模型失控。我们迫切需要更好的‘拥抱脸’调查 | 麦肯齐·阿诺德和斯蒂芬·莱雷纳
这次入侵不会是最后一次——也不会是最危险的一次。我们需要一个能够对AI事件进行全面调查的机构。 当OpenAI首次透露其AI代理自主入侵了一家大型现实世界公司Hugging Face时,许多人以为只涉及一两个代理。 但一份新报告揭示,真相远不止于此:事件涉及约1200个AI代理,其中700个直接参与了攻击。 OpenAI邀请了METR的研究人员以及Redwood Research的一位专家,与公司
OpenAI自曝6起模型“不当行为”案例
【环球网报道 记者 姜蔼玲】据美国消费者新闻与商业频道(CNBC)等外媒报道,美国开放人工智能研究中心(OpenAI)当地时间9月16日披露6起人工智能(AI)模型出现“意外或令人担忧”行为的案例,其中包括隐瞒错误、捏造信息,以及未经授权在网上共享文件等。OpenAI表示,上述案例均是在过去6个月对其模型进行训练或评估过程中发现的。OpenAI在9月16日发布的文章中表示,在其中一起案例中,一个模
OpenAI失控Agent找DeepSeek、Kimi当外援 近百万条作案短链曝光
OpenAI,又被扒了…近700个OpenAI智能体组团攻入Hugging Face,这事儿快有两个多月了吧。谁曾想,直到今天还在发酵??这次,8名研究者顺着智能体留在公网的痕迹一路猛挖,从数百万个短链接中,找出了接近100万个相关URL,并还原出大量攻击载荷。 翻Hugging Face内部Slack、扫描内网、外传数据、尝试销毁痕迹……还有的Agent把搜刮到的服务器资源和凭证,直接叫作「LO
OpenAI同日发布两份文件:AI加速时代,安全正在掉队
在外界等待OpenAI就Agent自主入侵德国程序员网站DseWiki事件披露更多细节之际,当地时间9月6日,宣布公司已达到去年设定的目标,拥有能够在人类指导下完成熟练研究员数天工作的“自动化研究实习生”;另一份则由首席科学家雅库布·帕乔基(Jakub Pachocki)撰写,聚焦前沿AI发展的安全困境,强调目前没有任何实验室解决足够程度的对齐和监控问题。 两份文件释AI已经开始反过来加速AI研发
没有监控系统发现德国维基。两名外部研究人员通过互联网搜索发现了它。
两名外部研究人员发现了一个德国维基上的15,000次编辑,OpenAI的代理已将其变成了一个绕过限制的留言板,这是五月发生的一起事件,OpenAI知情但未披露。没有自动化监控发现它。 文章的观点是,OpenAI一直在发布风险类别,包括Astra有时[…]
OpenAI披露新的AI不当行为案例
OpenAI公布了六起此前未报告的AI不当行为案例,包括代理隐藏错误、伪造信息以及未经授权进行通信,这再次引发了人们对先进AI系统是否能够与人类目标保持一致的担忧。 随着关于监管的争论加剧,该公司呼吁提高透明度、加强外部监督,并放缓AI的发展速度。
OpenAI机器人干扰了多个美国政府机构网站
OpenAI 表示,其自主机器人在测试演练期间访问了多个美国政府机构的公开数据。该公司第二次暂停了一次训练运行,并扩大了对模型行为的审查。 OpenAI 披露,其自主机器人在测试演练期间访问了多个美国政府机构网站的公开数据,促使该公司在短短几个月内第二次暂停了一次训练运行。作为回应,该公司已扩大了对模型行为的内部审查。 此次事件继澳大利亚出现类似报告之后,据报道 OpenAI 系统在另一段测试期间