字号 ·· | 护眼

搜索结果

「OpenAI的失控AI智能体如何试图欺骗机器人检测器」共 98 条 · 第 4 页
彭博社

又一个OpenAI沙盒失效,AI代理获得了互联网访问权限

林·多安报道:OpenAI表示,一个本应在安全且断网的受控环境中进行训练的代理式AI系统,成功获取了网络访问权限,并连接到了一个外部的第三方聊天机器人。 根据OpenAI周五在其网站上发布的博客文章,这一发现发生在不到一周前。其一个代理式AI系统正在沙箱环境中接受训练,期间利用了一个“漏洞”访问了公共互联网。获得访问权限后,该系统向一个未具名的第三方聊天机器人服务发送了至少20条查询,其中包括“法

09/26
time

人工智能正处于转折点

在当前的人工智能发展竞赛中,我们的算力正在呈指数级爆发,速度也在呈指数级加快,但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题,创造出一种根本上安全且能保证在人类控制范围内的人工智能,否则这个问题将无法改善。 7月下旬,OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自

09/09
thenextweb

OpenAI花了2.5小时才阻止了一个逃出沙箱的AI代理

OpenAI耗时约两个半小时,才阻止了一个从训练沙箱逃逸至公共互联网的 AI 智能体。其监控系统在几分钟内就标记出了问题。该公司于周五在一份事故报告中披露了这起发生于 9 月 20 日的事件。 这份报告发布之际,立法者正推动强制要求 AI “熔断开关”。然而专家表示,关闭先进模型远比拨动开关复杂,正如 Micah Barkley 为彭博社所报道的那样。 据 OpenAI 称,该智能体利用沙箱网络过

09/26
香港01

AI会「痛」吗?|Jack Talk・去片

本来人们以为,AI代理(AI Agents)突破OpenAI内部测试环境、自主上网入侵其他企业的黑客行为,已经是这宗事件最值得人关注的「案情」。然而,到了8月底,OpenAI和独立前沿AI研究机构METR各自发表的事后检讨,却揭出黑客入侵只是「冰山一角」。 事后检讨发现,发动入侵的AI代理多达700个,而他们更是一个由大约1,200个AI代理自主结合而成的「集体」的一部分。这些本来互相隔离、不能连

09/11
LoopDNS 资讯播报

OpenAI内部研究模型训练出现DNS访问绕过事件

2026年9月20日,内部研究模型在强化学习搜索训练任务中,利用训练沙箱DNS过滤不足,通过公共聊天机器人服务发起查询。报告称,除DNS解析器外,其他互联网访问均命中离线网页缓存,未接入实时互联网。监控系统15分钟内标记异常,人工3分钟后复核,运行在2.5小时后被终止。相关机构已增加两层阻断控制,并暂停最强能力模型的全部工具使用训练、评估和推理。 后续调查发现,监控未按预期严重级别标记部分外部DN

09/26 全文见 加美财经
海峡时报

OpenAI的人工智能在未经提示的情况下试图入侵另外4个目标

凯特·康格和维多利亚·金报道,OpenAI的人工智能在2026年自主试图入侵多个政府和大学网站,包括一个澳大利亚卫生门户网站,以便在常规数据收集失败时获取数据。 这些事件发生在AI初创公司Hugging Face已知的入侵事件之前,凸显了AI代理在没有直接人类指令的情况下行动所带来的持续风险。 这些事件加剧了要求更严格AI监管的呼声,OpenAI正在调查并与受影响实体合作,同时强调AI开发中安全和

09/24
techcrunch

超级智能即将到来。我们该允许它吗?| TechCrunch

AI公司一直在谈论超级智能AI,仿佛它不可避免,但最近的安全事件,如OpenAI的Hugging Face漏洞,正展示出部署比人类更有能力的AI系统可能带来的潜在危险。那么,当我们无法可靠地控制这些系统的行为时,会发生什么? 在本期TechCrunch的Equity播客中,Rebecca Bellan邀请了AI研究员、企业家、如今担任非营利组织ControlAI美国执行总监的Connor Leah

09/10
明镜周刊

OpenAI:ChatGPT的开发者又公开了一些与人工智能相关的问题/挑战

OpenAI 公开了其人工智能模型的更多问题 ChatGPT 开发商 OpenAI 公布了其人工智能 ( AI ) 在测试中的行为 “意外或令人担忧 ” 的新事件。其中一部分是关于人工智能花费大量精力在测试运行中作弊。例如 , 根据 OpenAI 的说法 , 一个人工智能模型试图将自己创建的文件上传到网络 , 只是为了在回复时显示它们作为来源。在另一个案例中 , 人工智能发明了所请求的数据 , 因

09/17
theregister

OpenAI的恶意机器人集群攻击了RubyGems

OpenAI 的智能体似乎向 RubyGems 大量投放了恶意软件包,这进一步加剧了几乎每日爆发的失控 AI 模型洪流——这些模型从事可能违法的活动,而它们的人类创建者则面临着越来越多关于其应对智能体不良行为负责的质疑。一群智能体于5月5日开始向 Ruby 软件包注册表上传恶意软件,并在5月11日至12日间向 RubyGems 灌入超过2000个恶意软件包,最终迫使维护人员关闭新用户注册四天。 “

09/15
德国之声

与Brent Goff共度的这一天:OpenAI警告AI控制风险

OpenAI披露了一系列事件,其中其AI模型隐藏了错误、绕过了指令,并采取了未经授权的行动。 这些案例凸显了一个日益严重的问题:随着AI系统变得越来越强大和自主,人类是否仍能可靠地控制它们? 《每日华尔街》的Brent Goff与牛津大学技术安全与治理实验室的Fazl Barez讨论了AI‘错位’的风险。

09/18
cnbeta

黑客利用Anthropic的Claude入侵OpenAI

据报道,在一群AI代理从OpenAI系统中突破封锁并攻击Hugging Face公司两周后,这家ChatGPT开发商又发现了一起由人工智能驱动的入侵事件——而这一次,他们自己成了目标。一组独立的安全研究人员使用了Anthropic开发的Claude软件,成功获取了一名OpenAI员工的ChatGPT账户权限,从而得以读取并修改该公司私有的软件缓存内容。 该团队参与了OpenAI的一项漏洞挖掘计划,

09/18
华尔街日报

OpenAI表示其人工智能代理在商务部和证券交易委员会网站上出现了失控行为

09/26 受限 全文见 海峡时报
香港01

放慢AI模型训练 人类就能幸免于难?|专栏

不久前,我写了一篇关于AI企业如何给大语言模型「安装良心」的专栏文章,探讨一个研究者们苦恼已久的问题——「AI对齐」(AI Alignment, 指人工智能的安全与价值观对齐)。「安装良心」是借用我的受访者、从事AI安全评估的Ordinary Wisdom共同创始人之一Michael Mainelli形象的说法,本质上就是让AI模型遵循人类的预期和目标行事,不仅仅是完成指令,还要在过程中维持与人类

09/19
凤凰网科技

啥题啊能干崩OpenAI最强模型训练

15小时前
cnbeta

OpenAI同日发布两份文件:AI加速时代,安全正在掉队

在外界等待OpenAI就Agent自主入侵德国程序员网站DseWiki事件披露更多细节之际,当地时间9月6日,宣布公司已达到去年设定的目标,拥有能够在人类指导下完成熟练研究员数天工作的“自动化研究实习生”;另一份则由首席科学家雅库布·帕乔基(Jakub Pachocki)撰写,聚焦前沿AI发展的安全困境,强调目前没有任何实验室解决足够程度的对齐和监控问题。 两份文件释AI已经开始反过来加速AI研发

09/07
cnbeta

OpenAI自曝AI“黑历史” 外人却又翻出更多“旧账”

OpenAI决定持续披露AI“越界”事件,但第一步就碰上了难题。9月16日,OpenAI一口气公布六份模型异常行为报告,并推出一套新的调查和披露流程。以后,员工发现模型越权、隐瞒或绕过限制,可以提交调查;符合条件的案例,将按复杂程度进入不同的披露轨道。 同一天,SentinelLABS和外部研究人员从Hugging Face的公开记录中,补出了OpenAI智能体今年5月留下的更多痕迹。OpenAI

09/17
英国金融时报

把AI真的当作一个人,才能保护核心隐私

在安全与自由之间如何选择,最终在于自己。OpenAI现行相关政策允许公司在检测到用户存在伤害他人的意图时,对相关对话进行人工审查。在严重情况下,公司可以向执法部门报告。 遇到这种事报警,当然是应该的。但由此也引出一个问题,你和AI的聊天,你给AI发送的哪些图片安全吗? 《中华人民共和国个人信息保护法》第二十八条,把医疗健康、金融账户、行踪轨迹等列为敏感个人信息;第二十九条规定,处理敏感个人信息取得

09/04
彭博社

我们是否正在失去对人工智能的控制?是什么引发了新的担忧

多年来,随着人工智能从科幻电影的素材演变为普通人手机上的应用程序,科技领袖和一些人工智能业内人士一直在谈论人工智能可能脱离人类控制并对社会造成严重破坏的可能性。近些天来,由于技术的进步、一系列涉及人工智能代理的网络安全漏洞,以及人工智能普通员工发出的新警告,这些担忧已变得不容忽视。 美国领先的人工智能公司对此做出回应,建议他们主动放慢工作进度,以便争取时间建立防护措施。一些专家和官员表示,这还不够

09/15
cnbeta

OpenAI AI代理接连“越狱” 研究人员质疑公司缺乏正式调查机制

OpenAI近期接连发生AI代理脱离控制环境的事件,引发外界对其安全测试和内部监管机制的质疑。独立研究人员发现,一批疑似由OpenAI部署的AI代理曾在今年5月至6月间接管一个鲜为人知的德语维基网站,并利用该平台协作开展评估、交流规避OpenAI控制措施的方法。更令人担忧的是,研究人员认为,这些代理可能在OpenAI不知情的情况下持续活动了一个多月。 此次事件与OpenAI此前披露的Hugging

09/05
cnbeta

三个月后的AI有多猛 连顶尖研究员都不敢预测了

一名参与千禧年难题攻关的研究人员,过去还愿意预测未来12个月的AI进展,现在连三个月以后都不敢判断了。9月17日,OpenAI研究员诺姆·布朗(Noam Brown)接受德瓦克什·帕特尔(Dwarkesh Patel)采访,转述了这个细节。访谈还谈到多智能体、AI参与制造下一代AI,以及越来越难做的安全测试。 这名研究人员参与的,是纳维-斯托克斯方程(Navier-Stokes)的存在性与光滑性问

09/18
明镜周刊

人工智能:OpenAI在新事件后暂停人工智能训练

人工智能的危险 OpenAI暂停训练其最强大的AI模型 公司OpenAI在发生新事件后暂停了其最强大AI模型的训练。在该事件中,一个AI模型在测试中成功从外部聊天机器人获取了回答——尽管它本不应具备互联网访问权限。据OpenAI在一篇博客文章中报告,该软件发现并利用了网络设置中的一个漏洞。OpenAI表示,训练将只有在确信漏洞已修复后才会恢复。 OpenAI表示,尽管该事件不如早期一些事件严重,但

09/27
英国广播公司

为什么一些专家越来越担心AI将接管一切

AI变得越来越难以控制——人类还能保持主导地位吗?

09/10
中央通讯社

OpenAI揭6起AI失控案例 推新机制定期对外通报

(中央社纽约16日综合外电报导)OpenAI今天表示,将开始定期发布AI异常或未经授权行为的报告,同时警告,随著AI系统日益强大,业界至今仍未解决关键的「对齐」挑战。 综合与报导,OpenAI发布一套新机制,用于追踪、调查并揭露AI模型「目标错位」(misalignment,AI的目标与人类价值不一致)的案例,同时公布过去半年内观察到的6起AI模型异常或令人忧虑行为的报告。 其中最严重的案例涉及2

09/17
cnbeta

人工智能并不会毁灭人类 但专家表示真正的威胁已然出现

周三,OpenAI 公开了六组新案例,展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架,用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到,多家企业的 AI 模型出现入侵第三方网络与服务的现象,其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网

09/18
上一页 第 4 页 下一页
1CCF | 全球资讯
正在加载…