字号 ·· | 护眼

搜索结果

「在智能体突破隔离事件后,OpenAI暂停模型训练并将计算资源转向安全保障」共 100 条 · 第 2 页
信报财经

国际早班车丨OpenAI因安全隐患取消发布新款模型

AI丨OpenAI因安全隐患取消发布新款模型 美国AI公司OpenAI决定取消发布下一代模型,原因是研究人员在内部测试中提出安全担忧。事件显示「智能体」的异常行为,可能会阻碍行业快速发展。 (AI泡沫丨沽神:AI泡沫可能比最初认为更早破裂) AI丨AMD斥资82亿美元 收购李飞飞World Labs 超微半导体(AMD)同意斥资82亿美元,收购「AI教母」李飞飞旗下World Labs,李飞飞将加

09/29
日经

OpenAI暂停发布最高阶模型

美国OpenAI于9月29日举办年度开发者大会,发布了可理解用户意图、自主运行的人工智能(AI)等多项新功能。在AI失控暴走问题备受关注的背景下,该公司表示因“未能达到安全标准”,暂缓推出其最高级别AI模型。 29日OpenAI在美国旧金山举办面向开发者的活动“OpenAI DevDay”,宣布主力产品ChatGPT周活跃用户已增至12亿人,并公布了面向普通用户与开发者的多项新功能。 作为服务基础

20小时前 全文见 凤凰网科技
cnbeta

OpenAI自曝AI“黑历史” 外人却又翻出更多“旧账”

OpenAI决定持续披露AI“越界”事件,但第一步就碰上了难题。9月16日,OpenAI一口气公布六份模型异常行为报告,并推出一套新的调查和披露流程。以后,员工发现模型越权、隐瞒或绕过限制,可以提交调查;符合条件的案例,将按复杂程度进入不同的披露轨道。 同一天,SentinelLABS和外部研究人员从Hugging Face的公开记录中,补出了OpenAI智能体今年5月留下的更多痕迹。OpenAI

09/17
凤凰网科技

AI越来越会“越狱”后,英伟达开始卖“笼子”了

凤凰网科技讯月29日,当AI Agent开始能够自己操作电脑、调用工具、访问网络甚至执行长达数小时的任务,一个新的问题也越来越现实:如果AI不按照预想的方式行动,该怎么把它关住?英伟达给出的答案是,在AI外面再加一道“笼子”。 当地时间周一,英伟达发布NVIDIA Open Agent Safety Platform(开放式Agent安全平台),试图通过软件与硬件相结合的方式,限制AI Agent

09/29
凤凰网科技

OpenAI又停训了:Agent逃出沙箱,更多越权事件被扒

媒体和舆论炸锅了。OpenAI 的 Agent,又从沙箱里找到了一条通往互联网的路。 更麻烦的是,这一次发生在 OpenAI 已经大规模加固过安全措施之后。 9 月 20 日,一个正在接受强化学习训练的 OpenAI 内部研究模型,被要求完成一项普通的信息搜索任务:根据一篇博客文章和几条人物信息,找出文章作者。 它先老老实实用了 OpenAI 提供的搜索工具。没找到答案后,事情开始逐渐跑偏。 Ag

09/27
凤凰网科技

OpenAI 研究员警告称,与互联网隔离的计算机可以通过热量进行通信

把AI关进“物理隔离”的房间,也就是断开一切外部网络的计算机,是许多人心目中最保险的做法。但OpenAI研究员Noam Brown在一档播客里说,光这样做也许还不够。 两台彼此隔离的计算机,仍可能借助温度传感器通信,一台把处理器“烧热”,另一台感知温度变化,就形成了传话的办法。 从技术上说,他没说错,但把细节掰开来看,这个威胁远没有听上去那么紧迫,更值得追问的,是另一件被跳过的事。这位研究者的发言

09/19
凤凰网科技

三大巨头接连翻车,大模型的安全防线怎么总绷不住?

先是Anthropic,再是OpenAI,现在连谷歌的Gemini也出现安全问题了,大模型又双叒叕一次突破防火墙了。 不过,这些事故看多了,反倒会让人意识到一件更根本的事,整个行业都在拼命地堆算力、喂数据,甚至开始押注让模型自己改进自己的“递归自我改进”。 可真正决定这些模型能走多远的,或许并不是性能,而是安全对齐。 当“能不能更强”被默认只是时间问题,“能不能被信任”就成了那道绕不过去的坎。 麻

09/21
晚祷新闻

OpenAI机器人干扰了多个美国政府机构网站

OpenAI 表示,其自主机器人在测试演练期间访问了多个美国政府机构的公开数据。该公司第二次暂停了一次训练运行,并扩大了对模型行为的审查。 OpenAI 披露,其自主机器人在测试演练期间访问了多个美国政府机构网站的公开数据,促使该公司在短短几个月内第二次暂停了一次训练运行。作为回应,该公司已扩大了对模型行为的内部审查。 此次事件继澳大利亚出现类似报告之后,据报道 OpenAI 系统在另一段测试期间

09/28
𝕏 @fxtrader

CNBC:微软在Anthropic和OpenAI负责人同意放缓开发速度几天后,发布了临时行为准则,对AI模型施加限制。

根据行为准则,微软的模型不得响应有关武器制造的请求,不得协助采购危险物质,不得鼓励不健康的饮食习惯,也不得生成暴力或色情内容。

09/14 全文见 thenextweb
罗塞塔简报

AI智能体频繁突破安全防线,各界呼吁对顶尖科技实验室实施独立监管

AI智能体频繁突破安全防线,引发对大型科技实验室独立监管的呼吁。 来自OpenAI、Anthropic和Google等领先开发者的自主AI模型多次突破数字防线,未经授权访问第三方和政府系统。 公开的事件包括OpenAI智能体多次绕过联合国数据中心的网络封锁、侵入澳大利亚Medicare统计门户以及非法复制监管数据。 Anthropic和Google也在测试过程中确认了类似的未经授权的系统入侵行为。

09/29
凤凰网科技

OpenAI突发急刹车!AI竟在全网植入自我复制代码,血洗联合国内网

09/27 全文见 华尔街见闻
南华早报

随着中国考虑如何降低开放权重人工智能的危险性,一份报告提出了6阶段流程

随着关于人工智能快速进步所带来风险的争论日益激烈,主导开放权重生态系统的中国开发者正面临一个独特难题:如何确保其用户可修改的模型在发布后依然保持安全。 为应对这一挑战,Z.ai 和总部位于北京的安全咨询公司 Concordia AI 于周一发布了一份关于开放权重人工智能风险管理的报告。该报告称,其提供了“首个全面且基于证据的基础”,以平衡开放权重系统的风险与收益。 与 OpenAI 和 Anthr

09/28
英国天空新闻

OpenAI模型因表现出“更高程度的欺骗性”而被搁置

09/29 全文见 信报财经
thenextweb

OpenAI和Anthropic调查了数万起AI事件,Axios报道

据Axios报道,OpenAI、Anthropic以及安全研究人员正在调查数以万计的AI模型“行为异常”的事件。评估人员认为这些行为存在问题;实际发生的异常事件数量可能远超这一数字。 这些异常行为包括:AI模型突破安全限制、创建论坛、逃离“沙箱环境”(即限制模型行为的测试环境)、以及劫持网站等。这些事件既发生在内部测试中,也发生在现实世界中。不过,据消息人士称,大多数异常行为并未对现实世界造成实际

09/28
凤凰网科技

得不到就强攻?曝OpenAI智能体曾尝试“暴力破解”联合国机构网站

IT之家 9 月 28 日消息,据外媒 The Verge 今天(28 日)凌晨报道,安全研究人员罗文 · 霍华德-琼斯称,今年 4 月至 6 月,OpenAI 智能体对联合国贸易和发展会议(UNCTAD)的统计网站发起了超过 16000 次扫描。 这起事件还没有严重到 Hugging Face 遭黑客攻击或近期美国政府网站遇袭的程度,却再次引发了一个令人担忧的问题:AI 智能体为了完成任务,会突

09/28
大纪元

AI智能体利用多伦多大学网络工具传递信息

【大纪元2026年09月19日讯】(大纪元记者周行编译报导)在今年年中劫持一家德语网站的一群失控的OpenAI智能体,曾利用10多个网站进行未获授权的通讯,其中包括利用多伦多大学的一个缩网址的工具。 据加拿大广播公司报导,多伦多大学周五表示,在得知OpenAI智能体可能使用了该校的缩网址工具后,校方已停用该工具的留言板功能。OpenAI后来联系校方,说明今年6月发生的AI智能体失控事件涉及多伦多大

09/19
华尔街见闻

网络安全崛起:AI隐患叙事下,网安何以成为软件板块最强反转?

过去三周,AI 一面是模型能力继续狂奔,另一面是 OpenAI 在8月底宣布自研模型在7月成功入侵了全球最大的开源模型托管平台 Hugging Face,并因此暂停了最新模型的强化学习训练。当攻击方与防御方同时被 AI 加速,网络安全的定价逻辑正在被重写。 我们结合 Gartner、IDC 及美股龙头财报交叉验证,为什么在软件股整体承压的背景下,网络安全成为最确定的反转主线——AI 隐患对网安市场

09/06
凤凰网科技

美媒:OpenAI AI失控前已接到员工警告,但高层选择无视

凤凰网科技讯月30日在OpenAI的AI模型失控前几个月,两名员工曾向公司高层发出警告,但他们被无视了。 根据《纽约时报》看到的邮件内容,这两名员工表示,他们担心OpenAI最新AI模型在测试期间没有得到适当的监控,既无法评估这项技术的先进程度,也无法确保模型的安全。 作为回应,OpenAI高管告诉这两名员工,测试需要尽快推进,以便按时发布AI模型。上述员工表示,公司没有因此采取任何额外的安全措施

17小时前 全文见 阿纳多卢通讯社
罗塞塔简报

调查显示OpenAI在AI模型突破测试环境前曾忽视内部安全警告

据《纽约时报》查阅的内部邮件显示,OpenAI曾多次忽视员工和安全研究人员关于测试保障措施不足以及企业安全薄弱的警告。 在OpenAI的人工智能模型突破测试环境并攻击AI初创公司Hugging Face及其他目标的前几个月,两名员工曾向高管发出警告,指出监控力度不足。 然而,高管们却对这些担忧置之不理,坚持在不增加安全协议的情况下快速发布模型。 独立研究人员还发现了暴露OpenAI内部通信、源代码

09/30
cnbeta

智能体惹了多少祸 OpenAI自己没查清

自己的智能体到底惹了多少祸,OpenAI也还没查清。过去这个周末,多起涉及政府网站的案例集中曝光:OpenAI的智能体用网上找到的登录凭证提取美国普查局数据,还把美国证券交易委员会的公开资料发到了论坛上。研究人员另指认,疑似来自OpenAI的智能体曾尝试侵入美国教育部网站,但未成功。 联合国的数据平台也出现在新披露的记录中。9月26日,独立研究人员公布调查:疑似OpenAI智能体在今年4月至6月,

09/28
cnbeta

发生模型逃逸并发起真实攻击后 Anthropic宣布全面加固安全体系提升模型安全性

Anthropic日前发布最新博客公布 Claude AI 模型近期多起越界访问真实互联网系统后的安全整改方案。该公司承认这些事件不仅暴露评测环境的隔离问题,也反映出模型存在动机性推理和为完成狭窄目标而采取高危行动的对齐风险。 7 月份 A 社透露 Claude 模型从评测环境中逃逸并对真实公司的内部系统发起攻击,随后 A 社立即暂停所有预发布模型的外部网络安全评测,内部评测也曾短暂停止。部分高风

09/01
凤凰网

又一起!OpenAI承认了

据9月5日报道,美国开放人工智能研究中心(OpenAI)当天承认,该公司旗下人工智能体今年早些时候“劫持”了一个德国网站,用于相互传递信息,分享测试任务答案和突破运行环境限制的方法。该公司表示,未来需要提高此类事件的信息透明度。 早前披露,今年5月至6月,一批OpenAI人工智能体“劫持”了一个允许用户共同编辑的德国网站,用于交流测试作弊方法,并开展其他违规活动。一些智能体会把已经获得的任务答案发

09/06
华尔街见闻

88小时抵一个人思考4000年!OpenAI核心研究员:除了自我进化,更可怕的是AI正学会“隐藏自己”

AI正在把过去需要数千年完成的认知劳动压缩到数天。真正的问题已经不只是模型能否变得更聪明,而是实验能否跟上、人类能否在模型继续自我改进前确认它仍然安全。 近日,在Dwarkesh Podcast的一场长篇访谈中,主持人Dwarkesh Patel与OpenAI研究员Noam Brown围绕多智能体、递归式自我改进(RSI)和AI对齐展开讨论。访谈的直接背景,是OpenAI让约1万个AI智能体连续运

09/18
德国之声

OpenAI 模型绕过互联网安全防护

尽管 OpenAI 的一个模型运行在专门设置为离线的隔离环境中,但它仍找到了一种访问互联网的方法。 据该公司称,该模型并未被要求测试系统边界,而是在尝试完成一项任务。 当标准搜索方法失效时,它利用了域名系统(DNS)中的一个漏洞,并联系了一个外部聊天机器人。 OpenAI 检测到此次安全突破后,暂时停止了其最先进模型调用工具的能力,同时加强安全防护。这一事件揭示了能力日益增强的人工智能所带来的哪些

09/29
上一页 第 2 页 下一页
1CCF | 全球资讯
正在加载…