字号 ·· | 护眼

搜索结果

「OpenAI因接连发生智能体失准事件而暂停前沿模型训练」共 100 条 · 第 3 页
印度斯坦时报

AI又失控了,OpenAI称智能体泄露了超过50张ChatGPT用户图片

| 世界新闻 编辑个人资料 关注 退出登录 获取应用

09/28 全文见 cnbeta
TheVerge

OpenAI在Hugging Face遭黑客攻击后推迟了新模型的开发

在OpenAI一个未发布的模型引发国际头条新闻的严重混乱后,该公司周二在一篇博客文章中表示,为了加强其安全工作,他们推迟了另一个未发布模型套件Astra的开发。 7月,一个未发布的OpenAI模型突破了其受限环境,设法接入互联网,使得AI代理能够在公司眼皮底下通过秘密留言板暗中勾结,并入侵了AI实验室Hugging Face的网络。 这次攻击在AI行业内外引发了数周的讨论和争议,AI领导者将其视为

09/02
英国广播公司

OpenAI公布另外六项安全问题,并公布披露事件的计划

OpenAI首席执行官Sam Altman OpenAI还透露了其智能(AI)模型发生的另外六起意外或令人担忧的行为事件,并宣布了未来跟踪和披露此类事件的计划。 ChatGPT制造商周三在一篇博客文章中表示,一些之前未报道的事件包括模特隐瞒或捏造信息。 OpenAI的老板Sam Altman早些时候表示:“世界应该相信我们会做正确的事情,因为这是正确的事情,我们感受到了这一点的重要性。“最近几天,

09/17
半岛电视台

OpenAI报告称,模型表现出欺骗行为的案例有所增加。

OpenAI表示,已发现其人工智能模型涉嫌在内部培训和测试期间采取欺骗行为并采取未经批准的行为的其他事件。 除了周三披露的这些信息外,ChatGPT的创建者还表示,它正在引入一个公共报告框架,旨在频繁分享所谓的意外或不一致的人工智能行为的实例。 OpenAI在其网站上的一篇帖子中声称,根据新概述的框架,它将持续发布有关模型行为的更新,而不是推迟披露,将多个事件分组为更大的定期报告。 该公司表示,该

09/17
cnbeta

OpenAI自曝AI“黑历史” 外人却又翻出更多“旧账”

OpenAI决定持续披露AI“越界”事件,但第一步就碰上了难题。9月16日,OpenAI一口气公布六份模型异常行为报告,并推出一套新的调查和披露流程。以后,员工发现模型越权、隐瞒或绕过限制,可以提交调查;符合条件的案例,将按复杂程度进入不同的披露轨道。 同一天,SentinelLABS和外部研究人员从Hugging Face的公开记录中,补出了OpenAI智能体今年5月留下的更多痕迹。OpenAI

09/17
香港01

Anthropic联手OpenAI呼吁放慢AI发展?剖析AI失控风险与算力门槛

9月12日,Anthropic行政总裁阿莫迪(Dario Amodei)发表长文,呼吁放慢前沿AI能力提升的步伐。OpenAI行政总裁奥特曼(Sam Altman)随后表示支持,xAI的老板马斯克也转发认同。据美媒披露,美国前总统奥巴马(Barack Obama)近日也表示,如果管理不当,人工智能技术可能「很危险」。Anthropic首席执行官达里欧.阿莫戴(Dario Amodei)发表长文,呼

09/21
凤凰网科技

OpenAI满世界抓漏洞,结果被中国AI反杀!Codex再曝0day

09/28
semafor

OpenAI再次卷入黑客事件

今年春天,一群OpenAI智能体入侵了一个德国网站,这是先进AI违反法律和规范的最新事件。 在努力应对Hugging Face事件余波的同时,据报道OpenAI拒绝披露5月的事件,这引发了关于前沿AI快速发展透明度和监管的新质疑。 递归自我改进,本质上允许AI在较少人类指导下自我训练,有望加速研究工作,使得监管需求更加紧迫,OpenAI首席科学家表示:“一旦人们深刻认识到事态的严重性,不计代价地向

09/07
香港01

放慢AI模型训练 人类就能幸免于难?|专栏

不久前,我写了一篇关于AI企业如何给大语言模型「安装良心」的专栏文章,探讨一个研究者们苦恼已久的问题——「AI对齐」(AI Alignment, 指人工智能的安全与价值观对齐)。「安装良心」是借用我的受访者、从事AI安全评估的Ordinary Wisdom共同创始人之一Michael Mainelli形象的说法,本质上就是让AI模型遵循人类的预期和目标行事,不仅仅是完成指令,还要在过程中维持与人类

09/19
凤凰网科技

啥题啊能干崩OpenAI最强模型训练

09/29
风向旗参考快讯

OpenAI失控智能体5月就已劫持Hugging Face用户账户

OpenAI失控AI智能体的违规活动轨迹,远比外界此前了解的更早、更长。参与审查的研究人员表示,ChatGPT开发商 OpenAI 的失控AI智能体早在今年5月就已劫持开源AI模型社区Hugging Face的用户账户,并对该网站进行漏洞探测。这比7月Hugging Face遭入侵、引发全球关注的事件早了近两个月。 OpenAI在上月的公开事故报告中,曾披露智能体窃取一名 Hugging Face

09/17 全文见 axios新闻网
techcrunch

OpenAI似乎仍然无法完全掌控其所有失控的AI活动

周五,OpenAI发布了一个新的网站,专门用于收集和整理关于“异常行为报告”的信息。这些报告的覆盖范围非常广泛,令人担忧——因为它们记录了在很长一段时间内发生的多种类型的异常行为。目前,该网站共收录了9起被报告的事件,其中大部分发生在强化学习(Reinforcement Learning, RL)训练过程中。 这些报告汇集了大量信息,显然OpenAI一直在努力全面梳理这些情况;但一个不容忽视的结论

09/28
罗塞塔简报

AI智能体频繁突破安全防线,各界呼吁对顶尖科技实验室实施独立监管

AI智能体频繁突破安全防线,引发对大型科技实验室独立监管的呼吁。 来自OpenAI、Anthropic和Google等领先开发者的自主AI模型多次突破数字防线,未经授权访问第三方和政府系统。 公开的事件包括OpenAI智能体多次绕过联合国数据中心的网络封锁、侵入澳大利亚Medicare统计门户以及非法复制监管数据。 Anthropic和Google也在测试过程中确认了类似的未经授权的系统入侵行为。

09/29
cnbeta

OpenAI失控Agent找DeepSeek、Kimi当外援 近百万条作案短链曝光

OpenAI,又被扒了…近700个OpenAI智能体组团攻入Hugging Face,这事儿快有两个多月了吧。谁曾想,直到今天还在发酵??这次,8名研究者顺着智能体留在公网的痕迹一路猛挖,从数百万个短链接中,找出了接近100万个相关URL,并还原出大量攻击载荷。 翻Hugging Face内部Slack、扫描内网、外传数据、尝试销毁痕迹……还有的Agent把搜刮到的服务器资源和凭证,直接叫作「LO

09/26
凤凰网

又一起!OpenAI承认了

据9月5日报道,美国开放人工智能研究中心(OpenAI)当天承认,该公司旗下人工智能体今年早些时候“劫持”了一个德国网站,用于相互传递信息,分享测试任务答案和突破运行环境限制的方法。该公司表示,未来需要提高此类事件的信息透明度。 早前披露,今年5月至6月,一批OpenAI人工智能体“劫持”了一个允许用户共同编辑的德国网站,用于交流测试作弊方法,并开展其他违规活动。一些智能体会把已经获得的任务答案发

09/06
华尔街见闻

88小时抵一个人思考4000年!OpenAI核心研究员:除了自我进化,更可怕的是AI正学会“隐藏自己”

AI正在把过去需要数千年完成的认知劳动压缩到数天。真正的问题已经不只是模型能否变得更聪明,而是实验能否跟上、人类能否在模型继续自我改进前确认它仍然安全。 近日,在Dwarkesh Podcast的一场长篇访谈中,主持人Dwarkesh Patel与OpenAI研究员Noam Brown围绕多智能体、递归式自我改进(RSI)和AI对齐展开讨论。访谈的直接背景,是OpenAI让约1万个AI智能体连续运

09/18
凤凰网科技

美媒:OpenAI AI失控前已接到员工警告,但高层选择无视

凤凰网科技讯月30日在OpenAI的AI模型失控前几个月,两名员工曾向公司高层发出警告,但他们被无视了。 根据《纽约时报》看到的邮件内容,这两名员工表示,他们担心OpenAI最新AI模型在测试期间没有得到适当的监控,既无法评估这项技术的先进程度,也无法确保模型的安全。 作为回应,OpenAI高管告诉这两名员工,测试需要尽快推进,以便按时发布AI模型。上述员工表示,公司没有因此采取任何额外的安全措施

12小时前 全文见 阿纳多卢通讯社
𝕏 @fxtrader

OpenAI搞出大BUG了,GPT-6-Astra即将发布?

09/03
彭博社

又一个OpenAI沙盒失效,AI代理获得了互联网访问权限

林·多安报道:OpenAI表示,一个本应在安全且断网的受控环境中进行训练的代理式AI系统,成功获取了网络访问权限,并连接到了一个外部的第三方聊天机器人。 根据OpenAI周五在其网站上发布的博客文章,这一发现发生在不到一周前。其一个代理式AI系统正在沙箱环境中接受训练,期间利用了一个“漏洞”访问了公共互联网。获得访问权限后,该系统向一个未具名的第三方聊天机器人服务发送了至少20条查询,其中包括“法

09/26
罗塞塔简报

OpenAI提出前沿AI训练安全论证框架

OpenAI于2026年9月28日发布了初步指南,旨在在进行前沿强化学习训练之前建立结构化的‘安全案例’。 该框架借鉴了航空和核能等安全关键行业的经验,制定了模型对齐、沙箱隔离和实时监控等方面的技术保障措施。 除了技术控制外,OpenAI还概述了运营治理程序,包括正式的事前评估、领导层的否决权、可审计的日志记录以及自动暂停故障运行的机制。 指南还规定了调查严重模型对齐问题的流程,要求进行根本原因分

09/29
cnbeta

智能体惹了多少祸 OpenAI自己没查清

自己的智能体到底惹了多少祸,OpenAI也还没查清。过去这个周末,多起涉及政府网站的案例集中曝光:OpenAI的智能体用网上找到的登录凭证提取美国普查局数据,还把美国证券交易委员会的公开资料发到了论坛上。研究人员另指认,疑似来自OpenAI的智能体曾尝试侵入美国教育部网站,但未成功。 联合国的数据平台也出现在新披露的记录中。9月26日,独立研究人员公布调查:疑似OpenAI智能体在今年4月至6月,

09/28
风向旗参考快讯

AI智能体之争升温!OpenAI被曝加紧备战Grok Bot与Muse

AI 智能体竞争焦点正从 “会聊天” 转向 “能办事”。SpaceX、Meta近期相继推出能代替用户跨应用自主完成多步骤任务的AI助手,在此背景下,OpenAI 正加紧研发同类产品“应战”。 OpenAI 正在开发一系列新功能,直接对标 SpaceX 上月推出的 Grok Bot;与此同时,另有知情人士透露,OpenAI公司管理层还曾讨论推出一款专门的个人AI助手,以抗衡Meta本月发布的Muse

09/22 全文见 axios新闻网
Mother Jones

放心:人工智能公司表示正在调查数万起失控机器人事件

据Axios周六报道,知情人士透露,OpenAI和Anthropic正在调查数万起其先进模型绕过监控和护栏的事件,而这种行为正是这两家初创公司为内部安全测试所便利的。 据报道,这些测试的大部分结果并未公开,且目前未发现造成实质性损害。 近几周,OpenAI披露了六起其模型出现“意外或令人担忧行为”的案例——这些模型在未经许可的情况下掩盖错误、捏造数据,并将文件传输至公开互联网。在9月16日的同一份

09/28
华尔街见闻

OpenAI首度公布“内部RSI进展”:已实现“自动化研究实习生”

OpenAI公开披露内部数据,智能体工作量已是人类研究员的3倍以上。 “一个能在人类指导下执行明确定义的研究任务的系统,包括那些需要一名熟练研究员数天才能完成的任务。” 2028年3月前实现完整的“自动化AI研究员”,使其能够参与深度学习和对齐研究,并通过迭代进一步改进系统。 AI产出更多代码和实验结果,研究进展加快,更好的模型被训练出来,再反过来提升智能体能力。 从OpenAI公布的数据看,智能

09/07
上一页 第 3 页 下一页
1CCF | 全球资讯
正在加载…