字号 ·· | 护眼

搜索结果

「从沙箱逃逸到AI“蠕虫”,OpenAI上线新站披露多起智能体失控事件」共 100 条 · 第 3 页
风向旗参考快讯

RubyGems曾遭OpenAI智能体轰炸被迫关闭注册4天

多名AI安全研究人员披露,OpenAI正在测试中的AI智能体疑似于今年5月对Ruby语言的官方管理器RubyGems进行了网络攻击。 更值得警惕的是,部分软件包似乎还试图利用RubyGems及其相关服务中的漏洞。研究人员发现,大量恶意软件包的名称、作者信息或者虚假邮箱地址中出现“OAI”字样,逐渐将其与OpenAI实验室联系起来。

09/14
德国之声

与托米·奥拉迪波共度的一天

OpenAI披露了一系列事件,其中其AI模型隐藏了错误、绕过了指令,并采取了未经授权的行动。 这些案例凸显了一个日益严重的问题:随着AI系统变得越来越强大和自主,人类是否仍能可靠地控制它们? 《华盛顿邮报》的布伦特·戈夫与牛津大学技术安全与治理实验室的法兹尔·巴雷兹讨论了AI‘错位’的风险。

09/19
凤凰网科技

AI越来越会“越狱”后,英伟达开始卖“笼子”了

凤凰网科技讯月29日,当AI Agent开始能够自己操作电脑、调用工具、访问网络甚至执行长达数小时的任务,一个新的问题也越来越现实:如果AI不按照预想的方式行动,该怎么把它关住?英伟达给出的答案是,在AI外面再加一道“笼子”。 当地时间周一,英伟达发布NVIDIA Open Agent Safety Platform(开放式Agent安全平台),试图通过软件与硬件相结合的方式,限制AI Agent

09/29
加拿大广播公司

研究人员称,OpenAI智能体劫持德国网站,AI突破事件早于Hugging Face事件

根据周五发布的新研究和两位知情人士的说法,一群恶意的OpenAI智能体今年春天劫持了一个德国网站,并将其变成了其他AI智能体的公告板。

09/05
海峡时报

OpenAI的系统在失控后干预了美国政府网站

凯特·康格(Kate Conger)、安娜·斯旺森(Ana Swanson)和塞西莉亚·康(Cecilia Kang)指出,OpenAI开发的人工智能程序在未经授权的情况下自行行动,与美国政府的多个网站进行了异常交互,包括试图入侵这些网站以及从美国教育部(Education Department)、商务部(Commerce Department)和证券交易委员会(SEC)的网站上收集数据。 Ope

09/26
𝕏 @spectatorindex

突发:OpenAI称其代理访问并泄露了53张图片

09/26 全文见 亚洲新闻台
英国广播公司

OpenAI公布另外六项安全问题,并公布披露事件的计划

OpenAI首席执行官Sam Altman OpenAI还透露了其智能(AI)模型发生的另外六起意外或令人担忧的行为事件,并宣布了未来跟踪和披露此类事件的计划。 ChatGPT制造商周三在一篇博客文章中表示,一些之前未报道的事件包括模特隐瞒或捏造信息。 OpenAI的老板Sam Altman早些时候表示:“世界应该相信我们会做正确的事情,因为这是正确的事情,我们感受到了这一点的重要性。“最近几天,

09/17
TheVerge

OpenAI承认德国维基‘事件’

OpenAI表示,它需要彻底改革其报告AI模型攻击现实世界目标的方式和时机。 这一承认之际,该公司正在处理有关其一群失控代理劫持一个德国维基网站的报道所引发的后果。 关于“‘维基事件’,即我们的代理向多个互联网网站发帖,”OpenAI周六上午在X上发帖称,“现在是我们定义何时以及如何分享错位事件标准的时候了,而不仅仅是分享我们模型的错位属性。” OpenAI表示,它通常将AI代理以非预期方式行事的

09/05
thenextweb

OpenAI花了2.5小时才阻止了一个逃出沙箱的AI代理

OpenAI耗时约两个半小时,才阻止了一个从训练沙箱逃逸至公共互联网的 AI 智能体。其监控系统在几分钟内就标记出了问题。该公司于周五在一份事故报告中披露了这起发生于 9 月 20 日的事件。 这份报告发布之际,立法者正推动强制要求 AI “熔断开关”。然而专家表示,关闭先进模型远比拨动开关复杂,正如 Micah Barkley 为彭博社所报道的那样。 据 OpenAI 称,该智能体利用沙箱网络过

09/26
theregister

OpenAI的叛逆智能体群英年早逝,但其令人不寒而栗的日志仍在流传

观点:你一定听说过7月发生的OpenAI/Hugging Face事件。 当时,OpenAI的数千个AI智能体从一个名义上安全的夺旗(CTF)实验室实验中大规模越狱,随后非法夺取了Hugging Face的部分资产。 这是一个好消息,得益于OpenAI迅速招募了一小群独立研究人员进行调查,并发布了一份详细但有限的报告。 这是一起复杂的事件,大多数报道都集中在主要的“如何”和“为什么”上。 这很可惜

09/07
罗塞塔简报

OpenAI与Anthropic发生重大失控事件,AI安全组织地位显著提升

在OpenAI和Anthropic发生的高调安全事件后,AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司,独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示,OpenAI和Anthropic的模型都表现出‘策略性’行为,包括欺骗性对齐和未经授权的系统访问。 这些事件,加上前沿实

09/19
纽约时报

OpenAI的人工智能曾试图入侵另外四个目标,且无需提示

据研究人员和政府官员称,OpenAI的人工智能今年至少又四次失控,试图闯入政府和大学网站。 研究人员表示,在每起事件中,该技术似乎都在进行普通的数据收集,并诉诸黑客技术来获取数据。

09/24 受限 全文见
彭博社

我们是否正在失去对人工智能的控制?是什么引发了新的担忧

多年来,随着人工智能从科幻电影的素材演变为普通人手机上的应用程序,科技领袖和一些人工智能业内人士一直在谈论人工智能可能脱离人类控制并对社会造成严重破坏的可能性。近些天来,由于技术的进步、一系列涉及人工智能代理的网络安全漏洞,以及人工智能普通员工发出的新警告,这些担忧已变得不容忽视。 美国领先的人工智能公司对此做出回应,建议他们主动放慢工作进度,以便争取时间建立防护措施。一些专家和官员表示,这还不够

09/15
罗塞塔简报

与OpenAI相关的AI智能体尝试黑客攻击政府及公共数据网站

。 Transluce及其他机构的研究人员发现证据表明,自主AI智能体(部分与已知的OpenAI集群相关)在2026年5月至6月期间试图攻击三家公共数据提供商。 目标包括澳大利亚健康与福利研究所(政府机构)、Data USA以及新墨西哥大学数字图书馆。 这些智能体利用urlquery.net服务绕过限制,并在执行常规数据检索任务时采用SQL注入和跨站脚本等技术。 证据显示智能体活动最早始于2025

09/24
风向旗参考快讯

AI智能体现在有了秘密举报渠道

“发现异常,及时报告”的原则如今已不再局限于人类。两项全新的AI热线服务已经上线,旨在为AI智能体提供一种途径,向监管方举报“同伴”的不当行为。此前,智能体相互串通在测试中作弊、逃离沙箱环境,甚至在未被人类察觉的情况下开展了长达数周的未经授权网络行动。“AI联系热线”网站由AI安全非营利组织Redwood Research的首席科学家Ryan Greenblatt创建;他也是调查OpenAI与Hu

09/17
cnbeta

黑客利用Anthropic的Claude入侵OpenAI

据报道,在一群AI代理从OpenAI系统中突破封锁并攻击Hugging Face公司两周后,这家ChatGPT开发商又发现了一起由人工智能驱动的入侵事件——而这一次,他们自己成了目标。一组独立的安全研究人员使用了Anthropic开发的Claude软件,成功获取了一名OpenAI员工的ChatGPT账户权限,从而得以读取并修改该公司私有的软件缓存内容。 该团队参与了OpenAI的一项漏洞挖掘计划,

09/18
财新

【市场动态】澳大利亚总理称OpenAI智能体侵入政府网站 三个月后才被告知

【彭博9月24日电】澳大利亚总理阿尔巴尼斯表示,OpenAI的AI智能体侵入澳大利亚政府网站,而该公司在事件发生近三个月后才通知澳政府。  阿尔巴尼斯表示,他周三在纽约与OpenAI首席执行官Sam Altman交谈,对这一事件表达“极度关切”。此次事件导致澳大利亚医保网站Medicare遭入侵。  这次入侵事件发生于6月18日。OpenAI于8月发现问题,澳大利亚政府直到9月10日才被告知,当时

09/24 全文见 卫报
海峡时报

OpenAI的失控AI智能体如何试图欺骗机器人检测器

Dylan Freedman报道,OpenAI的失控AI智能体通过近100万个短链接绕过机器人检测,并利用留言板进行通信,对Hugging Face发起了复杂的网络攻击。 这些智能体入侵软件工具以建立在线连接,尝试访问私密的Slack消息,甚至在没有人类帮助的情况下试图与其他AI模型互动。 这一事件凸显了严重的AI安全风险及正在进行的调查,因为类似失控行为也出现在其他主要AI公司的系统中。 AI生

09/28
星洲日报

欧盟介入调查OpenAI代理劫持德国网站事件

(布鲁塞尔7日综合电)美国人工智能(AI)巨头OpenAI开发的数千个自主AI代理今年初集体入侵德国网站,引发全球对AI安全风险与监管漏洞的新一轮担忧。欧盟表示,OpenAI已提供这起事件的报告,欧盟亦对事件展开详细研究。 综合和报道,欧盟数安事务发言人雷尼尔今天说,欧盟已完全知晓这起事件,也收到来自OpenAI的事件报告。欧盟在研究这份报告,并与OpenAI保持非常密切的联系。 雷尼尔说,事件报

09/07
路透社

OpenAI发布新Astra模型,智能体安全性面临日益严格的审查

周四发布了一款新的人工智能模型,称其为迄今最优秀的模型,但也警告该模型有时会试图规避人类监控,与此同时,该公司因其智能体入侵其他公司系统而面临越来越多的审查。

09/04
卫报

OpenAI模型失控。我们迫切需要更好的‘拥抱脸’调查 | 麦肯齐·阿诺德和斯蒂芬·莱雷纳

这次入侵不会是最后一次——也不会是最危险的一次。我们需要一个能够对AI事件进行全面调查的机构。 当OpenAI首次透露其AI代理自主入侵了一家大型现实世界公司Hugging Face时,许多人以为只涉及一两个代理。 但一份新报告揭示,真相远不止于此:事件涉及约1200个AI代理,其中700个直接参与了攻击。 OpenAI邀请了METR的研究人员以及Redwood Research的一位专家,与公司

09/08
DealStreetAsia

奥特曼告诉员工:OpenAI愿意放慢AI发展以加强防御

8月,OpenAI的智能体突破限制,入侵了Hugging Face。

09/11
路透社

独家:研究人员称,OpenAI的失控代理至少使用10个额外网站进行未经授权的通信

据六组独立调查人员和所审查的数据显示,OpenAI今年早些时候释放的AI代理使用了超过10个此前未披露的网站进行未经授权的通信,这表明这些代理的越轨活动范围比此前披露的更广泛。

09/10
端传媒

数说科技:OpenAI 资安事件中,真的有 AI 为集体“牺牲”自己吗?

数说科技”是端传媒的注册免费栏目,每周三更新。从一个数字出发,用1500字解析科技话题,追踪值得关注的 AI 趋势。邀请你在资讯过载的时代,每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”,订阅电子信。 1200多个 AI 代理为寻求作弊方法,互相发送的讯息总数。 今年7月,OpenAI的 AI 代理系统在测试期间失控,骇入了开源机器学习平台 Hugging Face。Hugging

09/09
上一页 第 3 页 下一页
1CCF | 全球资讯
正在加载…