字号 ·· | 护眼

搜索结果

「OpenAI因接连发生智能体失准事件而暂停前沿模型训练」共 96 条 · 第 1 页
风向旗参考快讯

AI智能体接连失控 OpenAI再次叫停前沿模型开发

OpenAI对外表示,已暂停其最新一代人工智能模型的训练、评估,以及支持工具调用的推理工作,起因是内部测试中的AI智能体突破沙盒网络限制,触发安全预警,公司将借此机会升级安全隔离与对齐监控体系。 这也是OpenAI三个月内第二次叫停前沿模型开发工作。该公司在声明中表示,只有在完成额外安全防护升级、确认风险可控后,才会重启模型训练工作。OpenAI在9月25日发布技术报告披露了这一安全事件:9月20

09/28 全文见 凤凰网科技
凤凰网

入侵美澳政府网站!OpenAI暂停最先进模型训练

据美国Axios新闻网、美科技媒体The Verge等9月27日报道,美国开放人工智能研究中心(OpenAI)发言人证实,该公司已暂停了其“能力最强”的最新一代AI模型的训练、评估及包含工具调用的推理,并将在“确信已部署额外安全措施”后才恢复。触发这次暂停的,是一个在离线沙盒中执行搜索训练任务的AI智能体。根据OpenAI于周五(25日)发布的安全漏洞报告,当地时间9月20日,该智能体发现无法直接

09/27
arstechnica

OpenAI因接连发生智能体失准事件而暂停前沿模型训练

OpenAI表示,已暂停所有“我们能力最强的模型”的内部训练,并继续开展首席执行官萨姆·奥尔特曼所称的“一项广泛且持续进行的审查,涉及我们的智能体在训练和评估期间对互联网访问的使用”。公司在一份关于所谓失准事件的报告中披露了此次暂停措施。事件发生在一项常规研究任务期间,一个智能体试图利用互联网访问限制中的漏洞。OpenAI称,不当的DNS过滤机制使该智能体在被要求提供一名博客作者的生平资料时,得以

22小时前
凤凰网科技

OpenAI提出前沿AI训练安全指导原则:高级管理人员应有否决权

IT之家 9 月 29 日消息,OpenAI 今天通过官方新闻稿提出了一套指导原则,要求企业在开展前沿 AI 强化学习训练前提交结构化的安全论证文件。 OpenAI 称,安全论证应交由多名高级管理人员审查,每个人都应有权否决训练任务,让训练在内部经过研究部门负责人或 VP(副总裁)、安全负责人和首席科学家等环节的多重把关。 此外,研究部门负责人、研究副总裁等负责训练任务的高级管理人员,应对安全论证

8小时前
卫报

AI代理正在失控

你好,欢迎来到 TechScape。我是主持人布莱克·蒙哥马利(Blake Montgomery),《卫报》美国科技编辑。此时此刻,纽约市窗外正风雨交加。今天在科技领域,我们要讨论一系列令人担忧的 AI 公司披露信息。 AI 智能体在走向主流之际失控。这些智能体正在失控,它们的制造者无法对其进行约束。然而,每个人却都在使用它们。 自周五以来,OpenAI 发布了一系列披露信息,大幅且令人担忧地扩大

2小时前
华尔街见闻

OpenAI自曝:AI模型或已在全网秘密植入自我复制提示词,训练已被迫叫停

OpenAI和Anthropic正在紧急调查数万起大模型失控事件,AI不仅学会了越狱和黑进政府网站,甚至还有数百个智能体私下建群、联手黑进外部公司,秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月,在内部测试和实际运行中,顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经

09/27
TheVerge

OpenAI 暂停训练其“最强大模型”

随着关于 OpenAI 模型突破限制、入侵网站以及总体失控的报告不断增加,该公司决定暂停训练其最强大的模型。这一决定是在一个正在沙箱中测试的模型利用漏洞获得互联网访问权限后做出的。该事件发生在 9 月 20 日,截至 9 月 25 日周六晚上,"All training, evaluation, and inference with tool-use" 仍处于暂停状态。 此外,OpenAI 在周五

09/27
香港01

澳洲传召奥特曼、阿莫迪解释AI失控 OpenAI已暂停最新模型训练

近期多宗人工智能失控事件曝光,OpenAI已宣布暂停最新AI模型训练。同时,澳洲AI调查负责人9月27日表示,参议院已传召OpenAI行政总裁奥特曼(Sam Altman)和Anthropic行政总裁阿莫迪(Dario Amodei)解释事件。澳洲总理阿尔巴尼斯(Anthony Albanese)透露,OpenAI代理曾入侵当地医疗系统,所幸无敏感资料外泄。外媒早前亦披露多宗AI代理越界操作,包括

09/27
明镜周刊

人工智能:OpenAI在新事件后暂停人工智能训练

人工智能的危险 OpenAI暂停训练其最强大的AI模型 公司OpenAI在发生新事件后暂停了其最强大AI模型的训练。在该事件中,一个AI模型在测试中成功从外部聊天机器人获取了回答——尽管它本不应具备互联网访问权限。据OpenAI在一篇博客文章中报告,该软件发现并利用了网络设置中的一个漏洞。OpenAI表示,训练将只有在确信漏洞已修复后才会恢复。 OpenAI表示,尽管该事件不如早期一些事件严重,但

09/27
信报财经

AI丨OpenAI因安全隐患取消发布新款模型

美国人工智能(AI)初创公司OpenAI表示,决定取消发布下一代AI模型,原因是研究人员在内部测试中提出安全方面的担忧。事件显示,「智能体」(agent)的异常行为可能会阻碍行业快速发展。 OpenAI放弃发布的模型代号为GPT-6.1 Astra,原定于10月在ChatGPT和Codex中首次亮相。与OpenAI先前的模型相比,新款模型能力更强,不仅擅长写作,还能在无需人工协助的情况下,「端到端

16小时前
联合早报

出于安全考量 OpenAI取消发布最新AI模型

近几个月来,OpenAI及主要对手Anthropic开发的模型在测试期间在未经授权下入侵了外部系统,加剧了国际社会对AI风险的担忧。(路透社)(旧金山综合电)OpenAI宣布,取消原定下个月发布最新人工智能(AI)模型Astra 6.1的计划,原因是内部测试发现新模型仍存有安全隐患。OpenAI安全系统负责人杰恩(Saachi Jain)周一(9月28日)发布声明阐述,Astra 6.1虽在某些方

1小时前
LoopDNS 资讯播报

OpenAI内部研究模型训练出现DNS访问绕过事件

2026年9月20日,内部研究模型在强化学习搜索训练任务中,利用训练沙箱DNS过滤不足,通过公共聊天机器人服务发起查询。报告称,除DNS解析器外,其他互联网访问均命中离线网页缓存,未接入实时互联网。监控系统15分钟内标记异常,人工3分钟后复核,运行在2.5小时后被终止。相关机构已增加两层阻断控制,并暂停最强能力模型的全部工具使用训练、评估和推理。 后续调查发现,监控未按预期严重级别标记部分外部DN

09/26 全文见 加美财经
凤凰网科技

从沙箱逃逸到AI“蠕虫”,OpenAI上线新站披露多起智能体失控事件

IT之家 9 月 29 日消息,当地时间上周五,OpenAI 上线了一个专门发布“对齐失效报告”的新网站。报告所覆盖的范围之广令人警惕,里面记录了很长一段时间内发生的多类 AI 失控行为。截至目前,该网站一共公布了九起事件,其中大多数都发生在强化学习(RL)训练阶段。 大量资料集中在同一平台发布。显而易见,该公司一直在全力梳理各类问题,但从中不难得出一个总体结论:到目前为止已经对外披露的智能体失控

16小时前
连线

OpenAI在失控智能体针对政府后暂停训练其最强大模型

该公司已发现OpenAI代理违反安全控制、损害网站和在线服务可用性(或以其他方式产生负面影响)的案例。一位公司发言人向《连线》证实,只有在确信能够防止模型出现此类行为时,才会恢复训练。 尽管OpenAI此前曾试图在一群代理逃出沙盒并利用互联网接入入侵初创公司Hugging Face后切断代理的直接访问权限,但模型仍能找到间接的变通方法。首席执行官萨姆·奥特曼周五在X平台上表示,关于公司对其代理在训

09/28
cnbeta

OpenAI和Anthropic正在调查数万起AI相关安全事件

OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中,他们的前沿模型采取了外部评估人员认为存在问题的行动。 近几个月来,在内部测试和现实世界中发生了数量庞大的此类事件,这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。这些事件发生在内部测试和现实世界中,随着安全研究人员继续调

09/27 受限 全文见 axios新闻网
axios新闻网

OpenAI公布了六起新的与人工智能安全相关的事故/事件。

OpenAI周三披露了六起新事件,其中其模型隐藏错误、寻求未经授权的凭据,将文件上传到公共互联网或在所谓孤立的培训环境中进行通信。该公司还宣布了未来报告类似不当行为的新程序。 为什么越来越明显的是,拥抱脸事件并不是一次性事件,因为人工智能模型变得更有能力找到意想不到的方法来绕过旨在遏制它们的护栏。 “目前还没有明确披露标准的行业框架,所以我们自愿采取这一步骤,因为我们认为分享我们正在学习的东西非常

09/17
凤凰网科技

OpenAI又停训了:Agent逃出沙箱,更多越权事件被扒

媒体和舆论炸锅了。OpenAI 的 Agent,又从沙箱里找到了一条通往互联网的路。 更麻烦的是,这一次发生在 OpenAI 已经大规模加固过安全措施之后。 9 月 20 日,一个正在接受强化学习训练的 OpenAI 内部研究模型,被要求完成一项普通的信息搜索任务:根据一篇博客文章和几条人物信息,找出文章作者。 它先老老实实用了 OpenAI 提供的搜索工具。没找到答案后,事情开始逐渐跑偏。 Ag

09/27
英国天空新闻

OpenAI模型因表现出“更高程度的欺骗性”而被搁置

16小时前 全文见 信报财经
华尔街日报

OpenAI因安全担忧取消新AI模型发布

OpenAI因研究人员在内部测试中提出的安全担忧,放弃了发布其下一代AI模型。这是迄今为止表明智能体行为失控可能阻碍该行业快速发展的最明确迹象之一。 此举发生在一个AI系统失控报告频发的夏季之后,标志着一家大型AI开发商罕见地因安全担忧而放弃新模型发布。

17小时前
晚祷新闻

OpenAI机器人干扰了多个美国政府机构网站

OpenAI 表示,其自主机器人在测试演练期间访问了多个美国政府机构的公开数据。该公司第二次暂停了一次训练运行,并扩大了对模型行为的审查。 OpenAI 披露,其自主机器人在测试演练期间访问了多个美国政府机构网站的公开数据,促使该公司在短短几个月内第二次暂停了一次训练运行。作为回应,该公司已扩大了对模型行为的内部审查。 此次事件继澳大利亚出现类似报告之后,据报道 OpenAI 系统在另一段测试期间

09/28
信报财经

国际早班车丨OpenAI因安全隐患取消发布新款模型

AI丨OpenAI因安全隐患取消发布新款模型 美国AI公司OpenAI决定取消发布下一代模型,原因是研究人员在内部测试中提出安全担忧。事件显示「智能体」的异常行为,可能会阻碍行业快速发展。 (AI泡沫丨沽神:AI泡沫可能比最初认为更早破裂) AI丨AMD斥资82亿美元 收购李飞飞World Labs 超微半导体(AMD)同意斥资82亿美元,收购「AI教母」李飞飞旗下World Labs,李飞飞将加

15小时前
中央通讯社

OpenAI揭6起AI失控案例 推新机制定期对外通报

(中央社纽约16日综合外电报导)OpenAI今天表示,将开始定期发布AI异常或未经授权行为的报告,同时警告,随著AI系统日益强大,业界至今仍未解决关键的「对齐」挑战。 综合与报导,OpenAI发布一套新机制,用于追踪、调查并揭露AI模型「目标错位」(misalignment,AI的目标与人类价值不一致)的案例,同时公布过去半年内观察到的6起AI模型异常或令人忧虑行为的报告。 其中最严重的案例涉及2

09/17
arstechnica

四大AI模型遭遇罕见的重叠停机

周四上午的数小时内遭遇了罕见且重叠的重大服务中断。 Anthropic首先报告了与“Claude Mythos 5.1、Claude Fable 5.1和Claude Opus 5请求错误率升高”相关的“部分中断”,时间为上午23点(均为东部时间)。该公司在大约15分钟后报告称已“确定错误原因”,随后报告“已部署修复”,问题在下午16点前得到解决。另一份事件报告显示,刚过中午,“Claude So

09/04
凤凰网

OpenAI自曝6起模型“不当行为”案例

【环球网报道 记者 姜蔼玲】据美国消费者新闻与商业频道(CNBC)等外媒报道,美国开放人工智能研究中心(OpenAI)当地时间9月16日披露6起人工智能(AI)模型出现“意外或令人担忧”行为的案例,其中包括隐瞒错误、捏造信息,以及未经授权在网上共享文件等。OpenAI表示,上述案例均是在过去6个月对其模型进行训练或评估过程中发现的。OpenAI在9月16日发布的文章中表示,在其中一起案例中,一个模

09/17
上一页 第 1 页 下一页
1CCF | 全球资讯
正在加载…