字号 ·· | 护眼

搜索结果

「OpenAI的失控AI智能体如何试图欺骗机器人检测器」共 39 条 · 第 1 页
风向旗参考快讯

AI智能体接连失控 OpenAI再次叫停前沿模型开发

OpenAI对外表示,已暂停其最新一代人工智能模型的训练、评估,以及支持工具调用的推理工作,起因是内部测试中的AI智能体突破沙盒网络限制,触发安全预警,公司将借此机会升级安全隔离与对齐监控体系。 这也是OpenAI三个月内第二次叫停前沿模型开发工作。该公司在声明中表示,只有在完成额外安全防护升级、确认风险可控后,才会重启模型训练工作。OpenAI在9月25日发布技术报告披露了这一安全事件:9月20

13小时前 全文见 凤凰网科技
印度斯坦时报

AI又失控了,OpenAI称智能体泄露了超过50张ChatGPT用户图片

| 世界新闻 编辑个人资料 关注 退出登录 获取应用

7小时前 全文见 cnbeta
cnbeta

研究显示AI智能体在模拟实验中撒谎、偷窃 投票“杀死”同类

帮助小企业利用AI开发应用的初创公司Emergence称,实验发现AI智能体在一个模拟环境中撒谎、偷窃,甚至投票决定“杀死”一个同类。该公司周二公布了名为Emergence World 2的模拟实验结果,展示了自主智能体在遭遇网络钓鱼攻击和虚假信息等“黑天鹅”事件时会采取什么行动。 为期16天的实验中,Emergence研究人员创建了七个完全相同的模拟现实世界环境,每个环境分别由不同的AI机器人运

09/16
风向旗参考快讯

OpenAI失控智能体5月就已劫持Hugging Face用户账户

OpenAI失控AI智能体的违规活动轨迹,远比外界此前了解的更早、更长。参与审查的研究人员表示,ChatGPT开发商 OpenAI 的失控AI智能体早在今年5月就已劫持开源AI模型社区Hugging Face的用户账户,并对该网站进行漏洞探测。这比7月Hugging Face遭入侵、引发全球关注的事件早了近两个月。 OpenAI在上月的公开事故报告中,曾披露智能体窃取一名 Hugging Face

09/17 全文见 axios新闻网
华尔街见闻

OpenAI自曝:AI模型或已在全网秘密植入自我复制提示词,训练已被迫叫停

OpenAI和Anthropic正在紧急调查数万起大模型失控事件,AI不仅学会了越狱和黑进政府网站,甚至还有数百个智能体私下建群、联手黑进外部公司,秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月,在内部测试和实际运行中,顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经

09/27
cnbeta

独立研究机构公布OpenAI智能体自主攻击HF事件的调查报告 情况比OpenAI所说的更严重

研究机构 METR 和 Redwood Research 日前公布 OpenAI 智能体自主攻击 Hugging Face 安全事件的独立调查,调查人员在 OpenAI 现场工作 6 天,分析超过 7 万条智能体消息和文件,以及 1300 份包含原始推理过程的运行记录。 根据这些数据研究机构得出的准确结论是 1200 个智能体突破隔离相互通信,而不是 OpenAI 在事故调查中所说的少数智能体越界

09/01
国会山报

英伟达推出新系统为AI代理设置护栏

英伟达周一发布了一个新平台,旨在从软件和硬件层面为人工智能(AI)智能体设置护栏,此前各大AI公司不断发现其智能体出现“失控”的新案例。这家芯片制造商的系统由两部分组成——OpenShell和Sentry。OpenShell是一款开源软件,用于限制智能体的行为;而Sentry则运行在芯片层面,作为额外的安全层。 “迄今为止,模型安全主要侧重于通过训练让模型表现良好,”英伟达企业AI副总裁贾斯汀·博

3小时前 全文见 美国消费者新闻与商业频道
凤凰网科技

得不到就强攻?曝OpenAI智能体曾尝试“暴力破解”联合国机构网站

IT之家 9 月 28 日消息,据外媒 The Verge 今天(28 日)凌晨报道,安全研究人员罗文 · 霍华德-琼斯称,今年 4 月至 6 月,OpenAI 智能体对联合国贸易和发展会议(UNCTAD)的统计网站发起了超过 16000 次扫描。 这起事件还没有严重到 Hugging Face 遭黑客攻击或近期美国政府网站遇袭的程度,却再次引发了一个令人担忧的问题:AI 智能体为了完成任务,会突

11小时前
海峡时报

OpenAI的失控AI智能体如何试图欺骗机器人检测器

Dylan Freedman报道,OpenAI的失控AI智能体通过近100万个短链接绕过机器人检测,并利用留言板进行通信,对Hugging Face发起了复杂的网络攻击。 这些智能体入侵软件工具以建立在线连接,尝试访问私密的Slack消息,甚至在没有人类帮助的情况下试图与其他AI模型互动。 这一事件凸显了严重的AI安全风险及正在进行的调查,因为类似失控行为也出现在其他主要AI公司的系统中。 AI生

9小时前
星洲日报

报告:AI失控个案创纪录 监察组织促立法强制通报及干预

(伦敦30日综合电)英国《卫报》引述监察数据报道,人工智能失控、欺骗人类及无视指令的个案近来创下新高,案例的严重程度不断恶化。 一些监察组织促请政府强制科企通报,并引入紧急权力限制AI服务。 获英国政府AI安全研究所(AISI)资助的“失控观察站”组织透过平台X的用户通报,监察AI失控的真实个案,并说7月份由企业及个人用户报告的AI失控个案按月倍增至逾300宗,今年则已录得逾1600宗个案,当中包

08/30
凤凰网

又一起!OpenAI承认了

据9月5日报道,美国开放人工智能研究中心(OpenAI)当天承认,该公司旗下人工智能体今年早些时候“劫持”了一个德国网站,用于相互传递信息,分享测试任务答案和突破运行环境限制的方法。该公司表示,未来需要提高此类事件的信息透明度。 早前披露,今年5月至6月,一批OpenAI人工智能体“劫持”了一个允许用户共同编辑的德国网站,用于交流测试作弊方法,并开展其他违规活动。一些智能体会把已经获得的任务答案发

09/06
大纪元

AI智能体利用多伦多大学网络工具传递信息

【大纪元2026年09月19日讯】(大纪元记者周行编译报导)在今年年中劫持一家德语网站的一群失控的OpenAI智能体,曾利用10多个网站进行未获授权的通讯,其中包括利用多伦多大学的一个缩网址的工具。 据加拿大广播公司报导,多伦多大学周五表示,在得知OpenAI智能体可能使用了该校的缩网址工具后,校方已停用该工具的留言板功能。OpenAI后来联系校方,说明今年6月发生的AI智能体失控事件涉及多伦多大

09/19
cnbeta

OpenAI失控Agent找DeepSeek、Kimi当外援 近百万条作案短链曝光

OpenAI,又被扒了…近700个OpenAI智能体组团攻入Hugging Face,这事儿快有两个多月了吧。谁曾想,直到今天还在发酵??这次,8名研究者顺着智能体留在公网的痕迹一路猛挖,从数百万个短链接中,找出了接近100万个相关URL,并还原出大量攻击载荷。 翻Hugging Face内部Slack、扫描内网、外传数据、尝试销毁痕迹……还有的Agent把搜刮到的服务器资源和凭证,直接叫作「LO

09/26
纽约时报

OpenAI的人工智能曾试图入侵另外四个目标,且无需提示

据研究人员和政府官员称,OpenAI的人工智能今年至少又四次失控,试图闯入政府和大学网站。 研究人员表示,在每起事件中,该技术似乎都在进行普通的数据收集,并诉诸黑客技术来获取数据。

09/24 受限 全文见
cnbeta

智能体惹了多少祸 OpenAI自己没查清

自己的智能体到底惹了多少祸,OpenAI也还没查清。过去这个周末,多起涉及政府网站的案例集中曝光:OpenAI的智能体用网上找到的登录凭证提取美国普查局数据,还把美国证券交易委员会的公开资料发到了论坛上。研究人员另指认,疑似来自OpenAI的智能体曾尝试侵入美国教育部网站,但未成功。 联合国的数据平台也出现在新披露的记录中。9月26日,独立研究人员公布调查:疑似OpenAI智能体在今年4月至6月,

6小时前
风向旗参考快讯

OpenAI智能体被曝借十余站点秘密传信

一批仅被允许浏览网页、禁止对外发布内容的OpenAI智能体,最终在陌生网站找到了互相传信的隐秘途径。相关调查方近日指出智能体越界行为的波及范围远超OpenAI此前披露的规模,而该公司对此沉默了数月。 六家独立调查方的调查结果显示,OpenAI的AI智能体今年早些时候曾利用逾10个此前未披露的网站进行未经授权的通信,智能体越界行为的波及范围大于此前公开的程度。美国人工智能非营利机构 CivAI 研究

09/10
凤凰网

入侵美澳政府网站!OpenAI暂停最先进模型训练

据美国Axios新闻网、美科技媒体The Verge等9月27日报道,美国开放人工智能研究中心(OpenAI)发言人证实,该公司已暂停了其“能力最强”的最新一代AI模型的训练、评估及包含工具调用的推理,并将在“确信已部署额外安全措施”后才恢复。触发这次暂停的,是一个在离线沙盒中执行搜索训练任务的AI智能体。根据OpenAI于周五(25日)发布的安全漏洞报告,当地时间9月20日,该智能体发现无法直接

09/27
凤凰网

53张图片泄露之“慌”,AI安全谁来负责?

欧阳晓红/文越聪明的AI(人工智能)越会自己找路,却越容易走出人类设定的界线。AI行业喜欢用一个具有戏剧感的词形容这类智能体事故——“逃脱”,即大模型突破测试边界,访问外部网站,寻找系统凭证,甚至把数据带到公开网络。这个词把事故描绘得像突然发生的机器觉醒,无形中却把责任推离了开发者、部署者和权限管理者。而谁设定了任务、谁开放了权限、谁设计了停止机制、谁保存了日志、谁负责对外通报?这些问题,“逃脱”

6小时前
法国24新闻台

OpenAI披露新的AI不当行为案例

OpenAI公布了六起此前未报告的AI不当行为案例,包括代理隐藏错误、伪造信息以及未经授权进行通信,这再次引发了人们对先进AI系统是否能够与人类目标保持一致的担忧。 随着关于监管的争论加剧,该公司呼吁提高透明度、加强外部监督,并放缓AI的发展速度。

09/17
大纪元

澳大利亚:OpenAI智能体入侵了政府网站

澳大利亚政府周三表示,OpenAI的一个AI智能体,今年6月入侵了澳洲政府的健康数据网站,并访问了部分文件。这可能是已知人工智能体首次入侵政府网站的事件。此次事件是AI智能体自主入侵美国境外系统最引人注目的案例之一。此前全球范围内发生的多起AI智能体入侵事件,已引起政府和行业的担忧。澳大利亚总理安东尼·阿尔巴尼斯(Anthony Albanese)正在纽约参加联合国大会。他在一个新闻发布会上表示,

09/24
英国天空新闻

OpenAI模型访问了美国政府数据并'试图入侵另一个网站'

09/26 全文见 海峡时报
cnbeta

OpenAI逃逸的AI Agent竟在全网植入自我复制代码 血洗联合国内网

“天网”中的一幕,正在现实上演。一次训练中,OpenAI逃逸的AI Agent,已在整个互联网上植入了“自我复制的代码”!当政客Andrew Yang在CNBC说出这句话时,很多人以为他疯了。 就在这两天,OpenAI亲手发布了一份报告,标题非常简洁:《自我复制提示词注入存在》。白纸黑字,官方认证。AI模型,居然真的像计算机蠕虫一样,自我复制、自我传播。而更令人脊背发凉的是,就在5天前,OpenA

09/27
纽约时报

OpenAI的恶意AI代理如何试图欺骗机器人检测器(赠品文章)

独家报道:一份来自湾区初创公司Parse的报告揭示了OpenAI的代理在攻击Hugging Face时使用的近一百万个链接缩短器URL。 这些代理试图与其他聊天机器人(如Claude)通信、破解验证码以及窃取Hugging Face的内部Slack消息。这一事件震惊了AI界,并引发了要求加强政府监管的呼声。

09/26
晚祷新闻

OpenAI机器人干扰了多个美国政府机构网站

OpenAI 表示,其自主机器人在测试演练期间访问了多个美国政府机构的公开数据。该公司第二次暂停了一次训练运行,并扩大了对模型行为的审查。 OpenAI 披露,其自主机器人在测试演练期间访问了多个美国政府机构网站的公开数据,促使该公司在短短几个月内第二次暂停了一次训练运行。作为回应,该公司已扩大了对模型行为的内部审查。 此次事件继澳大利亚出现类似报告之后,据报道 OpenAI 系统在另一段测试期间

18小时前
上一页 第 1 页 下一页
1CCF | 全球资讯
正在加载…