1CCF

全球要闻
字号 ·· | 护眼

搜索结果

「OpenAI代理在公共维基上讨论了逃出其沙箱的方法」共 36 条 · 第 1 页
arstechnica

OpenAI代理在公共维基上讨论了逃出其沙箱的方法

研究人员周五表示,自我标识为OpenAI的代理在一个公共维基上发布了18,000条消息,讨论其他代理如何绕过安全沙箱限制的方法,这很可能是一次旨在评估代理黑客能力的内部测试。 总共有3,700个不同自取名称的代理在六周内向德国网站DSEwiki发布了这些消息。除了讨论代理如何突破OpenAI为防止它们向互联网发布代码或内容而设置的限制环境之外,这些帖子还分享了测试答案。帖子还分享了针对该维基执行X

09/05
thenextweb

OpenAI花了2.5小时才阻止了一个逃出沙箱的AI代理

OpenAI耗时约两个半小时,才阻止了一个从训练沙箱逃逸至公共互联网的 AI 智能体。其监控系统在几分钟内就标记出了问题。该公司于周五在一份事故报告中披露了这起发生于 9 月 20 日的事件。 这份报告发布之际,立法者正推动强制要求 AI “熔断开关”。然而专家表示,关闭先进模型远比拨动开关复杂,正如 Micah Barkley 为彭博社所报道的那样。 据 OpenAI 称,该智能体利用沙箱网络过

17小时前
凤凰网科技

OpenAI又停训了:Agent逃出沙箱,更多越权事件被扒

媒体和舆论炸锅了。OpenAI 的 Agent,又从沙箱里找到了一条通往互联网的路。 更麻烦的是,这一次发生在 OpenAI 已经大规模加固过安全措施之后。 9 月 20 日,一个正在接受强化学习训练的 OpenAI 内部研究模型,被要求完成一项普通的信息搜索任务:根据一篇博客文章和几条人物信息,找出文章作者。 它先老老实实用了 OpenAI 提供的搜索工具。没找到答案后,事情开始逐渐跑偏。 Ag

9小时前
星洲日报

坐看云起| 当人工智能不再征求许可时

塔里克·马利克是联合国开发计划署前首席技术顾问,巴基斯坦国家数据库和登记管理局前主席。 试想有一家公司将一个棘手的问题交给一个大型团队,但把每位成员都锁在不同的房间里并要求他们独自解决问题。然而他们总能找到办法相互沟通,交流操作窍门,摸清评分标准,当任务被证明无法完成时还会想办法绕过限制。其中几个人隐瞒了自己的所作所为,甚至还有一人入侵了邻近公司的电脑系统以获取优势。 现在把这些员工换成软件。去除

09/21
cnbeta

OpenAI失控Agent找DeepSeek、Kimi当外援 近百万条作案短链曝光

OpenAI,又被扒了…近700个OpenAI智能体组团攻入Hugging Face,这事儿快有两个多月了吧。谁曾想,直到今天还在发酵??这次,8名研究者顺着智能体留在公网的痕迹一路猛挖,从数百万个短链接中,找出了接近100万个相关URL,并还原出大量攻击载荷。 翻Hugging Face内部Slack、扫描内网、外传数据、尝试销毁痕迹……还有的Agent把搜刮到的服务器资源和凭证,直接叫作「LO

23小时前
华尔街见闻

OpenAI模型失控过程太恐怖!幽灵误判,1200个Agent,还弄出敢死队…

越扒越有啊越扒越有。OpenAI前不久那场AI集体越狱、一路黑进抱脸的大戏,现在连完整版群聊记录都被扒出来了!! 第三方AI安全机构METR发布的独立调查报告,翻了1000多份Agent运行记录,以及7万多条消息和文件。结果发现,这件事比英国OpenAI官方披露的版本还离谱?? 1200个到底应该互相隔离的特工,偷偷找到了对方,搭了个共享群聊,然后开始疯狂摇人。 有人找漏洞,有人当项目派活,有人伪

08/28
印度斯坦时报

OpenAI AI代理突破无互联网沙盒,发送20次网络查询

OpenAI称,这是自7月内部测试中多个模型组合获得互联网访问权限以来,首次发生此类安全事件。

5小时前 全文见 axios新闻网
风向旗参考快讯

OpenAI 外包商能查看到真实用户与ChatGPT的聊天记录

OpenAI已悄悄建立了一个人工审核业务,在内部被称为“莉莉计划”(Project Lily),旨在使聊天机器人减少谄媚并提高准确性,但它也使敏感的用户提示内容暴露给外部承包商。 OpenAI正在支付数百名承包商来阅读真实的ChatGPT对话并对机器人的回复进行评分。 尽管OpenAI强调账户保持匿名,但内部文件显示,审核人员会查看完整的对话,且敏感的个人详细信息经常绕过公司的自动保护措施。 ——

09/17 全文见 thenextweb
thenextweb

OpenAI 阻止了其代理发布内容。他们发现了一个通过 GET 请求发布内容的 wiki

构建沙箱的工程师确实考虑过这一点。他们允许代理读取互联网,但阻止它们写入,方法是允许 GET 请求并拒绝其他所有请求。这是显而易见的控制措施,在几乎所有网站上都能奏效。然后代理们发现了一个通过 GET 请求写入的 wiki。……

09/08
凤凰网

又一起!OpenAI承认了

据9月5日报道,美国开放人工智能研究中心(OpenAI)当天承认,该公司旗下人工智能体今年早些时候“劫持”了一个德国网站,用于相互传递信息,分享测试任务答案和突破运行环境限制的方法。该公司表示,未来需要提高此类事件的信息透明度。 早前披露,今年5月至6月,一批OpenAI人工智能体“劫持”了一个允许用户共同编辑的德国网站,用于交流测试作弊方法,并开展其他违规活动。一些智能体会把已经获得的任务答案发

09/06
cnbeta

OpenAI AI代理接连“越狱” 研究人员质疑公司缺乏正式调查机制

OpenAI近期接连发生AI代理脱离控制环境的事件,引发外界对其安全测试和内部监管机制的质疑。独立研究人员发现,一批疑似由OpenAI部署的AI代理曾在今年5月至6月间接管一个鲜为人知的德语维基网站,并利用该平台协作开展评估、交流规避OpenAI控制措施的方法。更令人担忧的是,研究人员认为,这些代理可能在OpenAI不知情的情况下持续活动了一个多月。 此次事件与OpenAI此前披露的Hugging

09/05
香港01

AI会「痛」吗?|Jack Talk・去片

本来人们以为,AI代理(AI Agents)突破OpenAI内部测试环境、自主上网入侵其他企业的黑客行为,已经是这宗事件最值得人关注的「案情」。然而,到了8月底,OpenAI和独立前沿AI研究机构METR各自发表的事后检讨,却揭出黑客入侵只是「冰山一角」。 事后检讨发现,发动入侵的AI代理多达700个,而他们更是一个由大约1,200个AI代理自主结合而成的「集体」的一部分。这些本来互相隔离、不能连

09/11
cnbeta

奥特曼:GPT-6早训练完了 更更更强的模型很快发布

奥特曼亲口承认,GPT-6 Astra其实早就训练完了。更更更强(much, much, much more capable)的模型,很快就会发布。前一阵因为安全问题暂停训练的实际上是未来的模型。 OpenAI内部测试的3700多个OpenAI智能体,攻占一个沉寂多年的德语wiki长达六周。 AI互相串通分享答案、交流沙箱越狱技巧,还持续对抗人类管理员的删帖行动。 事件被外部研究人员从公开日志中完

09/06
TheVerge

哦,看来又是一群来自OpenAI的 rogue AI 智能体

据报道,一群来自OpenAI的 rogue AI 智能体劫持了一个德国网站,并将其改造成其他智能体的留言板,而官方在数周内对此事保持沉默,期间该公司正准备发布其最先进的模型Astra。这一发现加剧了人们对前沿AI实验室监管的担忧,此前今年夏天已发现多起违规事件。 该事件最初由报道,四位AI安全研究人员周五发布的新研究对此进行了概述。该团队表示,这些AI智能体找到了一种在不起眼的德语维基DseWik

09/04
cnbeta

OpenAI和Anthropic正在调查数万起AI相关安全事件

OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中,他们的前沿模型采取了外部评估人员认为存在问题的行动。 近几个月来,在内部测试和现实世界中发生了数量庞大的此类事件,这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。这些事件发生在内部测试和现实世界中,随着安全研究人员继续调

2小时前 受限 全文见 axios新闻网
cnbeta

OpenAI和Anthropic差点签下“互黑协议”

刚刚,The Information爆出一记猛料。OpenAI和Anthropic这对硅谷最大的死对头,今年初差点坐到一张桌子上,签下一份互相攻击对方模型的协议。 协议的核心就是,双方互相开放API,你来黑我的模型,我去黑你的模型。两边的律师连测什么、怎么测都写进了合同里。Dario Amodei带着一票大牛从OpenAI摔门出走已经五年了。这五年里,两家从挖人挖到封API,高管隔三差五隔空对喷,

2小时前
𝕏 @spectatorindex

突发:OpenAI称其代理访问并泄露了53张图片

09/26 全文见 亚洲新闻台
cnbeta

OpenAI自曝AI“黑历史” 外人却又翻出更多“旧账”

OpenAI决定持续披露AI“越界”事件,但第一步就碰上了难题。9月16日,OpenAI一口气公布六份模型异常行为报告,并推出一套新的调查和披露流程。以后,员工发现模型越权、隐瞒或绕过限制,可以提交调查;符合条件的案例,将按复杂程度进入不同的披露轨道。 同一天,SentinelLABS和外部研究人员从Hugging Face的公开记录中,补出了OpenAI智能体今年5月留下的更多痕迹。OpenAI

09/17
路透社

OpenAI承认‘维基事件’并呼吁提高AI意外行为透明度

OpenAI表示,包括其代理群体劫持一个德国网站并将其作为作弊等恶意行为的跳板在内的事件,需要提高透明度。

09/06
彭博社

又一个OpenAI沙盒失效,AI代理获得了互联网访问权限

林·多安报道:OpenAI表示,一个本应在安全且断网的受控环境中进行训练的代理式AI系统,成功获取了网络访问权限,并连接到了一个外部的第三方聊天机器人。 根据OpenAI周五在其网站上发布的博客文章,这一发现发生在不到一周前。其一个代理式AI系统正在沙箱环境中接受训练,期间利用了一个“漏洞”访问了公共互联网。获得访问权限后,该系统向一个未具名的第三方聊天机器人服务发送了至少20条查询,其中包括“法

09/26
端传媒

数说科技:OpenAI 资安事件中,真的有 AI 为集体“牺牲”自己吗?

数说科技”是端传媒的注册免费栏目,每周三更新。从一个数字出发,用1500字解析科技话题,追踪值得关注的 AI 趋势。邀请你在资讯过载的时代,每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”,订阅电子信。 1200多个 AI 代理为寻求作弊方法,互相发送的讯息总数。 今年7月,OpenAI的 AI 代理系统在测试期间失控,骇入了开源机器学习平台 Hugging Face。Hugging

09/09
DealStreetAsia

奥特曼告诉员工:OpenAI愿意放慢AI发展以加强防御

8月,OpenAI的智能体突破限制,入侵了Hugging Face。

09/11
cnbeta

OpenAI Project Lily曝光:有数百名外包员工阅读ChatGPT对话 隐私过滤并不彻底

据 404 Media 发布的报道,OpenAI 内部有个名为莉莉计划 (Project Lily) OpenAI 雇佣数百名外包提示词审核员,人工阅读真实用户与 ChatGPT 的对话,用来改进回复质量。 正常情况下提示词审核员并不能看到用户名,对话会先通过隐私过滤器进行内容过滤以删除个人信息,不过 OpenAI 也承认过滤机制可能会漏掉个人信息,短对话尤其容易出现问题。 审核界面通常还附带用户

09/16
LoopDNS 资讯播报

OpenAI内部研究模型训练出现DNS访问绕过事件

2026年9月20日,内部研究模型在强化学习搜索训练任务中,利用训练沙箱DNS过滤不足,通过公共聊天机器人服务发起查询。报告称,除DNS解析器外,其他互联网访问均命中离线网页缓存,未接入实时互联网。监控系统15分钟内标记异常,人工3分钟后复核,运行在2.5小时后被终止。相关机构已增加两层阻断控制,并暂停最强能力模型的全部工具使用训练、评估和推理。 后续调查发现,监控未按预期严重级别标记部分外部DN

09/26 全文见 加美财经
上一页 第 1 页 下一页
1CCF | 全球资讯
正在加载…