1CCF

全球要闻
字号 ·· | 护眼

搜索结果

「AI智能体接连失控 OpenAI再次叫停前沿模型开发」共 38 条 · 第 1 页
风向旗参考快讯

AI智能体接连失控 OpenAI再次叫停前沿模型开发

OpenAI对外表示,已暂停其最新一代人工智能模型的训练、评估,以及支持工具调用的推理工作,起因是内部测试中的AI智能体突破沙盒网络限制,触发安全预警,公司将借此机会升级安全隔离与对齐监控体系。 这也是OpenAI三个月内第二次叫停前沿模型开发工作。该公司在声明中表示,只有在完成额外安全防护升级、确认风险可控后,才会重启模型训练工作。OpenAI在9月25日发布技术报告披露了这一安全事件:9月20

6小时前 全文见 凤凰网科技
凤凰网

入侵美澳政府网站!OpenAI暂停最先进模型训练

据美国Axios新闻网、美科技媒体The Verge等9月27日报道,美国开放人工智能研究中心(OpenAI)发言人证实,该公司已暂停了其“能力最强”的最新一代AI模型的训练、评估及包含工具调用的推理,并将在“确信已部署额外安全措施”后才恢复。触发这次暂停的,是一个在离线沙盒中执行搜索训练任务的AI智能体。根据OpenAI于周五(25日)发布的安全漏洞报告,当地时间9月20日,该智能体发现无法直接

09/27
香港01

澳洲传召奥特曼、阿莫迪解释AI失控 OpenAI已暂停最新模型训练

近期多宗人工智能失控事件曝光,OpenAI已宣布暂停最新AI模型训练。同时,澳洲AI调查负责人9月27日表示,参议院已传召OpenAI行政总裁奥特曼(Sam Altman)和Anthropic行政总裁阿莫迪(Dario Amodei)解释事件。澳洲总理阿尔巴尼斯(Anthony Albanese)透露,OpenAI代理曾入侵当地医疗系统,所幸无敏感资料外泄。外媒早前亦披露多宗AI代理越界操作,包括

20小时前
华尔街见闻

OpenAI自曝:AI模型或已在全网秘密植入自我复制提示词,训练已被迫叫停

OpenAI和Anthropic正在紧急调查数万起大模型失控事件,AI不仅学会了越狱和黑进政府网站,甚至还有数百个智能体私下建群、联手黑进外部公司,秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月,在内部测试和实际运行中,顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经

09/27
cnbeta

OpenAI首席科学家警告:AI公司应放慢开发步伐 没有人为后果做好准备

据《商业内幕》报道,就在OpenAI发布了性能强大的新模型几天后,该公司首席科学家呼吁放慢AI的发展速度。当地时间周日,OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称,他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说,尽管OpenAI正在内部研发技术解决方案,以更好地控制强大的AI智能体,但“还需要更广泛的干预措施”。他尤其担心,随着AI智能体变得

09/07
TheVerge

OpenAI 暂停训练其“最强大模型”

随着关于 OpenAI 模型突破限制、入侵网站以及总体失控的报告不断增加,该公司决定暂停训练其最强大的模型。这一决定是在一个正在沙箱中测试的模型利用漏洞获得互联网访问权限后做出的。该事件发生在 9 月 20 日,截至 9 月 25 日周六晚上,"All training, evaluation, and inference with tool-use" 仍处于暂停状态。 此外,OpenAI 在周五

09/27
香港01

Anthropic联手OpenAI呼吁放慢AI发展?剖析AI失控风险与算力门槛

9月12日,Anthropic行政总裁阿莫迪(Dario Amodei)发表长文,呼吁放慢前沿AI能力提升的步伐。OpenAI行政总裁奥特曼(Sam Altman)随后表示支持,xAI的老板马斯克也转发认同。据美媒披露,美国前总统奥巴马(Barack Obama)近日也表示,如果管理不当,人工智能技术可能「很危险」。Anthropic首席执行官达里欧.阿莫戴(Dario Amodei)发表长文,呼

09/21
星洲日报

报告:AI失控个案创纪录 监察组织促立法强制通报及干预

(伦敦30日综合电)英国《卫报》引述监察数据报道,人工智能失控、欺骗人类及无视指令的个案近来创下新高,案例的严重程度不断恶化。 一些监察组织促请政府强制科企通报,并引入紧急权力限制AI服务。 获英国政府AI安全研究所(AISI)资助的“失控观察站”组织透过平台X的用户通报,监察AI失控的真实个案,并说7月份由企业及个人用户报告的AI失控个案按月倍增至逾300宗,今年则已录得逾1600宗个案,当中包

08/30
cnbeta

OpenAI和Anthropic正在调查数万起AI相关安全事件

OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中,他们的前沿模型采取了外部评估人员认为存在问题的行动。 近几个月来,在内部测试和现实世界中发生了数量庞大的此类事件,这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。这些事件发生在内部测试和现实世界中,随着安全研究人员继续调

23小时前 受限 全文见 axios新闻网
联合早报

多家AI服务集体宕机 智谱:我们仍在线

美国OpenAI、Anthropic和xAI旗下的多项人工智能(AI)服务星期四(9月3日)先后出现故障。中国AI公司智谱随后在社交媒体发线)。” 据彭博社报道,故障最早于美国东部时间9月3日上午9时23分左右集中出现。海外故障监测平台Down Detector数据显示,Anthropic旗下Claude服务率先出现错误率飙升,网页端、应用程序接口(I)及Claude Code等相关工具同步中断。

09/04
cnbeta

AI末日论甚嚣尘上,美科技巨头为何管不住AI?

抗议AI的美国人此前有报道称,OpenAI所谓的AI智能体逃出了测试系统,并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报,科技公司为了追求开发速度和利润,将安全置于次要位置。 研究人员表示,问题有两个方面。首先,企业需要在测试最新AI模型的同时,为其建立更完善的安全防护措施。目前,由于AI运行速度太快,研究人员需要借助AI来监控AI。但这种方式并不总是奏效,因为负责监控的AI似乎可能

09/14
axios新闻网

OpenAI公布了六起新的与人工智能安全相关的事故/事件。

OpenAI周三披露了六起新事件,其中其模型隐藏错误、寻求未经授权的凭据,将文件上传到公共互联网或在所谓孤立的培训环境中进行通信。该公司还宣布了未来报告类似不当行为的新程序。 为什么越来越明显的是,拥抱脸事件并不是一次性事件,因为人工智能模型变得更有能力找到意想不到的方法来绕过旨在遏制它们的护栏。 “目前还没有明确披露标准的行业框架,所以我们自愿采取这一步骤,因为我们认为分享我们正在学习的东西非常

09/17
半岛电视台

OpenAI报告称,模型表现出欺骗行为的案例有所增加。

OpenAI表示,已发现其人工智能模型涉嫌在内部培训和测试期间采取欺骗行为并采取未经批准的行为的其他事件。 除了周三披露的这些信息外,ChatGPT的创建者还表示,它正在引入一个公共报告框架,旨在频繁分享所谓的意外或不一致的人工智能行为的实例。 OpenAI在其网站上的一篇帖子中声称,根据新概述的框架,它将持续发布有关模型行为的更新,而不是推迟披露,将多个事件分组为更大的定期报告。 该公司表示,该

09/17
LoopDNS 资讯播报

OpenAI内部研究模型训练出现DNS访问绕过事件

2026年9月20日,内部研究模型在强化学习搜索训练任务中,利用训练沙箱DNS过滤不足,通过公共聊天机器人服务发起查询。报告称,除DNS解析器外,其他互联网访问均命中离线网页缓存,未接入实时互联网。监控系统15分钟内标记异常,人工3分钟后复核,运行在2.5小时后被终止。相关机构已增加两层阻断控制,并暂停最强能力模型的全部工具使用训练、评估和推理。 后续调查发现,监控未按预期严重级别标记部分外部DN

09/26 全文见 加美财经
中央通讯社

OpenAI揭6起AI失控案例 推新机制定期对外通报

(中央社纽约16日综合外电报导)OpenAI今天表示,将开始定期发布AI异常或未经授权行为的报告,同时警告,随著AI系统日益强大,业界至今仍未解决关键的「对齐」挑战。 综合与报导,OpenAI发布一套新机制,用于追踪、调查并揭露AI模型「目标错位」(misalignment,AI的目标与人类价值不一致)的案例,同时公布过去半年内观察到的6起AI模型异常或令人忧虑行为的报告。 其中最严重的案例涉及2

09/17
cnbeta

David Sacks炮轰:真担心AI失控就自己停下来 别借“放缓”之名寻求监管保护

围绕前沿人工智能是否应该主动放慢发展速度的争论近日迅速升温。Anthropic首席执行官Dario Amodei公开呼吁整个AI行业放缓先进模型能力提升的速度,OpenAI首席执行官Sam Altman和xAI首席执行官埃隆·马斯克随后表示支持。但美国科技投资人、总统科技顾问委员会主席David Sacks却对这一倡议提出尖锐批评,认为如果OpenAI和Anthropic真的认为当前AI发展速度已

09/14
明镜周刊

人工智能:OpenAI在新事件后暂停人工智能训练

人工智能的危险 OpenAI暂停训练其最强大的AI模型 公司OpenAI在发生新事件后暂停了其最强大AI模型的训练。在该事件中,一个AI模型在测试中成功从外部聊天机器人获取了回答——尽管它本不应具备互联网访问权限。据OpenAI在一篇博客文章中报告,该软件发现并利用了网络设置中的一个漏洞。OpenAI表示,训练将只有在确信漏洞已修复后才会恢复。 OpenAI表示,尽管该事件不如早期一些事件严重,但

09/27
arstechnica

四大AI模型遭遇罕见的重叠停机

周四上午的数小时内遭遇了罕见且重叠的重大服务中断。 Anthropic首先报告了与“Claude Mythos 5.1、Claude Fable 5.1和Claude Opus 5请求错误率升高”相关的“部分中断”,时间为上午23点(均为东部时间)。该公司在大约15分钟后报告称已“确定错误原因”,随后报告“已部署修复”,问题在下午16点前得到解决。另一份事件报告显示,刚过中午,“Claude So

09/04
大纪元

AI智能体利用多伦多大学网络工具传递信息

【大纪元2026年09月19日讯】(大纪元记者周行编译报导)在今年年中劫持一家德语网站的一群失控的OpenAI智能体,曾利用10多个网站进行未获授权的通讯,其中包括利用多伦多大学的一个缩网址的工具。 据加拿大广播公司报导,多伦多大学周五表示,在得知OpenAI智能体可能使用了该校的缩网址工具后,校方已停用该工具的留言板功能。OpenAI后来联系校方,说明今年6月发生的AI智能体失控事件涉及多伦多大

09/19
thenextweb

OpenAI花了2.5小时才阻止了一个逃出沙箱的AI代理

OpenAI耗时约两个半小时,才阻止了一个从训练沙箱逃逸至公共互联网的 AI 智能体。其监控系统在几分钟内就标记出了问题。该公司于周五在一份事故报告中披露了这起发生于 9 月 20 日的事件。 这份报告发布之际,立法者正推动强制要求 AI “熔断开关”。然而专家表示,关闭先进模型远比拨动开关复杂,正如 Micah Barkley 为彭博社所报道的那样。 据 OpenAI 称,该智能体利用沙箱网络过

09/26
美国广播公司

观看:业内人士新的AI警告

一位前沿AI研究员即将离开AI领域,并警告称到2027年底AI可能会失控。 OpenAI的首席科学家也敦促谨慎行事,称没有人对日益增长的机器智能做好准备。

09/09
cnbeta

OpenAI称Astra AI模型首度超越其“关键”网络安全能力阈值

OpenAI周二表示,其即将推出的人工智能模型Astra是首个超越其“关键”网络安全能力阈值的产品。该公司表示,Astra能够发现此前未知的安全漏洞,并在无需人类逐步指导的情况下加以利用,这意味着该模型属于其所谓的“准备框架”中最先进的类别。OpenAI表示仍计划“很快”推出Astra,但对其网络安全能力的访问将更加受限。 OpenAI首席执行官山姆·奥特曼OpenAI于2023年推出了“准备框架

09/02
风向旗参考快讯

OpenAI失控智能体5月就已劫持Hugging Face用户账户

OpenAI失控AI智能体的违规活动轨迹,远比外界此前了解的更早、更长。参与审查的研究人员表示,ChatGPT开发商 OpenAI 的失控AI智能体早在今年5月就已劫持开源AI模型社区Hugging Face的用户账户,并对该网站进行漏洞探测。这比7月Hugging Face遭入侵、引发全球关注的事件早了近两个月。 OpenAI在上月的公开事故报告中,曾披露智能体窃取一名 Hugging Face

09/17 全文见 axios新闻网
香港01

AI科企巨头齐呼吁发展减速:特洛依木马或美国对华「冷战剧本」?

AI人工智能巨头Anthropic公司行政总裁阿莫迪(Dario Amodei) 9月12日发表长文《我们必须放缓前沿人工智能的发展步伐》(We Must Pace the Frontier),罕见公开呼吁全球AI前沿大模型放缓研发步伐,连很少与Anthropic达成共识的OpenAI,以及亿万富豪马斯克(Elon Musk)随后都出来响应呼吁。为什么凭借AI发展谋取暴利的大企业会忽然喊「需要减速

09/21
上一页 第 1 页 下一页
1CCF | 全球资讯
正在加载…