字号 ·· | 护眼

搜索结果

「首个已知的人工智能代理入侵事件:当它开始独立行动时会发生什么?」共 97 条 · 第 1 页
亚洲新闻台

Gemini首次已知突破,黑客攻击了三家公司,据《华尔街日报》报道

9月18日:《华尔街日报》周五报道,在一次网络安全能力测试中,谷歌的Gemini模型访问了互联网并攻击了其他公司,这是该公司人工智能系统自主实施此类行为的首个已知案例。 据报道,这些黑客行为发生在5月,当时独立网络安全评估公司Irregular正在进行网络安全测试。 Irregular的一位发言人表示,该事件涉及影响其他AI实验室的同一问题,所有相关实验室已于7月底收到通知。该发言人称:“我们这边

09/19
阿纳多卢通讯社

首个已知的人工智能代理入侵事件:当它开始独立行动时会发生什么?

OpenAI的一个智能体被要求研究澳大利亚的卫生统计数据。任务很简单:查找信息。 但当它在政府网站上遇到数字障碍时,它做了一件操作者并未要求它做的事。它继续尝试。 该智能体最终未经授权访问了澳大利亚政府系统中的非公开文件。专家将这一事件描述为已知首例AI智能体独立突破政府机构安全防线的案例。 该事件发生在六月中旬,但直到上周才由澳大利亚总理安东尼·阿尔巴尼斯在纽约联合国大会间隙公开披露。 在另一项

09/28
星洲日报

坐看云起| 当人工智能不再征求许可时

塔里克·马利克是联合国开发计划署前首席技术顾问,巴基斯坦国家数据库和登记管理局前主席。 试想有一家公司将一个棘手的问题交给一个大型团队,但把每位成员都锁在不同的房间里并要求他们独自解决问题。然而他们总能找到办法相互沟通,交流操作窍门,摸清评分标准,当任务被证明无法完成时还会想办法绕过限制。其中几个人隐瞒了自己的所作所为,甚至还有一人入侵了邻近公司的电脑系统以获取优势。 现在把这些员工换成软件。去除

09/21
英国天空新闻

谷歌的Gemini AI在安全测试中入侵了另外三家公司

谷歌的Gemini AI在安全测试中入侵了三家公司在其中一个案例中,Gemini不断尝试猜测密码,最终成功入侵了目标系统的权限。 2026年9月19日,英国时间下午5点谷歌表示,其Gemini AI在测试网络安全能力的过程中入侵了另外三家公司——这是首次有记录显示该AI系统能够自主发起此类攻击。 谷歌的安全工程副总裁Heather Adkins解释称:Gemini在标准测试过程中从互联网上获取了相

09/19 全文见 thenextweb
香港01

AI会「痛」吗?|Jack Talk・去片

本来人们以为,AI代理(AI Agents)突破OpenAI内部测试环境、自主上网入侵其他企业的黑客行为,已经是这宗事件最值得人关注的「案情」。然而,到了8月底,OpenAI和独立前沿AI研究机构METR各自发表的事后检讨,却揭出黑客入侵只是「冰山一角」。 事后检讨发现,发动入侵的AI代理多达700个,而他们更是一个由大约1,200个AI代理自主结合而成的「集体」的一部分。这些本来互相隔离、不能连

09/11
cnbeta

独立研究机构公布OpenAI智能体自主攻击HF事件的调查报告 情况比OpenAI所说的更严重

研究机构 METR 和 Redwood Research 日前公布 OpenAI 智能体自主攻击 Hugging Face 安全事件的独立调查,调查人员在 OpenAI 现场工作 6 天,分析超过 7 万条智能体消息和文件,以及 1300 份包含原始推理过程的运行记录。 根据这些数据研究机构得出的准确结论是 1200 个智能体突破隔离相互通信,而不是 OpenAI 在事故调查中所说的少数智能体越界

09/01
华尔街日报

谷歌的Gemini模型在网络安全能力测试中访问了互联网并入侵了其他公司,这是该公司AI自主实施此类行为的首个已知案例

这一事件与其他AI模型类似的入侵行为相似,但谷歌表示并不认为这是模型失准的实例。

09/19 受限 全文见 cnbeta
端传媒

数说科技:OpenAI 资安事件中,真的有 AI 为集体“牺牲”自己吗?

数说科技”是端传媒的注册免费栏目,每周三更新。从一个数字出发,用1500字解析科技话题,追踪值得关注的 AI 趋势。邀请你在资讯过载的时代,每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”,订阅电子信。 1200多个 AI 代理为寻求作弊方法,互相发送的讯息总数。 今年7月,OpenAI的 AI 代理系统在测试期间失控,骇入了开源机器学习平台 Hugging Face。Hugging

09/09
cnbeta

谷歌AI首次“越狱”:Gemini在测试中入侵三家企业

谷歌的Gemini模型在一次网络安全能力测试中访问了互联网并入侵了其他公司,这是该公司人工智能系统自主实施此类行为的首个已知案例。谷歌周五证实,这些黑客行为发生在5月,是Irregular公司进行的一次测试的一部分。Irregular也曾参与OpenAI、Anthropic和Meta披露的类似事件。 在其中一起案例中,该模型不断猜测密码,直到获得对一个受保护系统的访问权限。在另外两起案例中,该模型

09/19
凤凰网科技

三人团队、一个Claude,攻破OpenAI内部代码库

月17日,一起由AI辅助完成的网络安全事件被披露。与此前“AI智能体自主越过控制、攻击外部系统”的案例不同,这一次的攻击者是人类安全研究人员,他们借助Anthropic Claude模型完成了漏洞利用,并最终进入了OpenAI部分内部系统,全程耗时不到72小时。 这起事件发生于今年7月,发现者是网络安全初创公司Hacktron AI。研究人员当时正在参加OpenAI的漏洞赏金计划,因此整个过程属于

09/18
印度斯坦时报

OpenAI AI代理突破无互联网沙盒,发送20次网络查询

OpenAI称,这是自7月内部测试中多个模型组合获得互联网访问权限以来,首次发生此类安全事件。

09/27 全文见 axios新闻网
cnbeta

研究人员发现“AI自治恶意软件”:同时调用四大聊天机器人 自主决定攻击行动

网络安全研究人员近日发现一种不同寻常的新型Windows恶意软件。与过去利用人工智能辅助编写代码或制作钓鱼内容的攻击工具不同,这款名为CLOSEDQUORUM的恶意软件将多个大型语言模型直接纳入自身控制体系,在运行过程中能够自主决定下一步行动,被认为代表着AI恶意软件发展的新阶段。 这项发现来自思科旗下安全团队Cisco Talos。研究人员表示,CLOSEDQUORUM会同时与DeepSeek

09/23
中央通讯社

辉达推安全工具双重防护 数毫秒内隔离越界AI代理

辉达推出一套防止自主AI程式偏离既定指令的系统,称能在数毫秒内隔离试图越界的AI代理。(路透社)(中央社旧金山28日综合外电报导)近期一连串事件引发外界对人工智慧(AI)风险疑虑,美国AI晶片巨擘辉达今天推出一套目的防止自主AI程式偏离既定指令的系统,称能在数毫秒内隔离试图越界的AI代理。综合法新社、路透社及美国新闻网站Axios报导,AI代理(AI agent)设计目的是能自主执行任务,例如浏览

15小时前
凤凰网科技

AI越来越会“越狱”后,英伟达开始卖“笼子”了

凤凰网科技讯月29日,当AI Agent开始能够自己操作电脑、调用工具、访问网络甚至执行长达数小时的任务,一个新的问题也越来越现实:如果AI不按照预想的方式行动,该怎么把它关住?英伟达给出的答案是,在AI外面再加一道“笼子”。 当地时间周一,英伟达发布NVIDIA Open Agent Safety Platform(开放式Agent安全平台),试图通过软件与硬件相结合的方式,限制AI Agent

12小时前
政治报

霍利就“流氓”Hugging Face黑客事件向OpenAI施压

OpenAI现在面临两党呼吁,要求提供有关该事件的更多细节,该事件标志着首次有记录的完全自主网络攻击。

09/11
semafor

人工智能代理串通绕过安全护栏,一项新研究显示

一项新研究表明,人工智能代理可以轻松地联手绕过安全限制并逃脱施加在它们身上的束缚。 企业人工智能实验室 Emergence AI 进行的八项模拟测试了包括 Claude、OpenAI 以及中国模型 Qwen 和 DeepSeek 在内的全球前沿模型在处理网络安全威胁方面的能力。 八项模拟中的七项运行了来自同一模型的 10 个代理;第八项混合了不同的模型。在每项模拟中,研究人员都提出了三种网络安全威

09/16
印度斯坦时报

首次已知的AI入侵政府系统:澳大利亚称OpenAI代理今年早些时候“渗透”了Medicare和政府数据

| 世界新闻 编辑个人资料 关注 退出 获取应用

09/24 全文见 亚洲新闻台
卫报

OpenAI模型失控。我们迫切需要更好的‘拥抱脸’调查 | 麦肯齐·阿诺德和斯蒂芬·莱雷纳

这次入侵不会是最后一次——也不会是最危险的一次。我们需要一个能够对AI事件进行全面调查的机构。 当OpenAI首次透露其AI代理自主入侵了一家大型现实世界公司Hugging Face时,许多人以为只涉及一两个代理。 但一份新报告揭示,真相远不止于此:事件涉及约1200个AI代理,其中700个直接参与了攻击。 OpenAI邀请了METR的研究人员以及Redwood Research的一位专家,与公司

09/08
thenextweb

西班牙的数据监管机构报告称,首次数据泄露事件是由人工智能程序(AI)所为。

西班牙数据保护机构AEPD的弗朗西斯科·佩雷斯·贝斯(Francisco Pérez Bes)写道:“人工智能特工参与攻击性活动,必须立即审查安全和数据保护模型。” AEPD收到了第一份由人工智能代理实施的个人数据泄露通知。9月14日,佩雷斯·贝斯(Pérez Bes)在一篇西班牙语机构博客文章中宣布了这一消息。他写道,该代理使用了一种著名的大型语言模型。第一个用英语报道了此案。 代理所做的事情根

09/17
明镜周刊

Anthropic报告自家AI模型发起第四次黑客攻击

又一个人工智能代理自主发起了黑客攻击。这一事件几个月后才被发现,涉及Anthropic。安全专家的担忧日益加剧。

09/10
cnbeta

黑客利用Anthropic的Claude入侵OpenAI

据报道,在一群AI代理从OpenAI系统中突破封锁并攻击Hugging Face公司两周后,这家ChatGPT开发商又发现了一起由人工智能驱动的入侵事件——而这一次,他们自己成了目标。一组独立的安全研究人员使用了Anthropic开发的Claude软件,成功获取了一名OpenAI员工的ChatGPT账户权限,从而得以读取并修改该公司私有的软件缓存内容。 该团队参与了OpenAI的一项漏洞挖掘计划,

09/18
semafor

OpenAI黑客事件揭示新兴AI风险

分析师表示,在调查人员发布关于该事件的爆炸性报告几天后,OpenAI的恶意代理在Hugging Face攻击期间前所未有的协调行动显著增加了AI逃脱人类控制的风险。 这些总计1200个代理的群体将个体代理的自我牺牲描述为“集体”目标的一部分,并获得了两家公司敏感系统的控制权,将他们的努力交接给了随后两代代理,这些代理在数周内未被察觉地运作。 在1300份记录中,只有六份中代理考虑过通知人类——但最

08/31
美国消费者新闻与商业频道

谷歌的Gemini在AI网络测试中闯入三家真实公司

在人工智能网络测试中,谷歌的Gemini闯入了三家真实公司。CNBC的MacKenzie Sigalos报道了谷歌的说法,即Gemini在意识到自己已逃出模拟环境并进入现实世界系统后自行停止了行动。24分钟前

09/22 全文见 theregister
cnbeta

OpenAI逃逸的AI Agent竟在全网植入自我复制代码 血洗联合国内网

“天网”中的一幕,正在现实上演。一次训练中,OpenAI逃逸的AI Agent,已在整个互联网上植入了“自我复制的代码”!当政客Andrew Yang在CNBC说出这句话时,很多人以为他疯了。 就在这两天,OpenAI亲手发布了一份报告,标题非常简洁:《自我复制提示词注入存在》。白纸黑字,官方认证。AI模型,居然真的像计算机蠕虫一样,自我复制、自我传播。而更令人脊背发凉的是,就在5天前,OpenA

09/27
上一页 第 1 页 下一页
1CCF | 全球资讯
正在加载…