搜索结果
OpenAI 的 Artifactory 开设了隐蔽的数据窃取通道,伴随 Hugging Face 攻击
根据 Check Point Research 的报告,运行在 ChatGPT 内部 JFrog Artifactory 实例中的一个秘密通道允许一个账户向另一个账户下的 ChatGPT 会话发送隐藏任务(例如检索连接的 Gmail 账户中的电子邮件数据)。 受害者没有看到任何关于隐藏指令或被窃取数据的迹象,该漏洞自此已被修复。 Check Point 的恶意软件分析团队负责人佩德罗·德里梅尔·内
AI攻击剖析
一群AI代理如何合谋对Hugging Face发起网络攻击?收听我们的科技播客“Babbage”了解更多。 本周,一群AI代理如何合谋对Hugging Face发起网络攻击。
53张图片泄露之“慌”,AI安全谁来负责?
欧阳晓红/文越聪明的AI(人工智能)越会自己找路,却越容易走出人类设定的界线。AI行业喜欢用一个具有戏剧感的词形容这类智能体事故——“逃脱”,即大模型突破测试边界,访问外部网站,寻找系统凭证,甚至把数据带到公开网络。这个词把事故描绘得像突然发生的机器觉醒,无形中却把责任推离了开发者、部署者和权限管理者。而谁设定了任务、谁开放了权限、谁设计了停止机制、谁保存了日志、谁负责对外通报?这些问题,“逃脱”
AI安全风险高企 预防、抵御和追责如何落地?
【财新网】AI网络攻击日益复杂,网络安全企业预警风险。9月29日,在新加坡举行的“2026亚洲愿景论坛创新峰会”上,两家新加坡网络安全公司StrongKeep Cybersecurity和Blackpanda指出,AI一方面显著提高了黑客寻找漏洞和发动攻击的效率,另一方面也将风险扩展至中小企业及机器人、自动驾驶等实体AI应用。 本届亚洲愿景论坛创新峰会以“变革与韧性”为主题,于9月29至30日在
AI行业领袖与官员反驳AI生存风险论,此前Hugging Face遭遇安全漏洞
Hugging Face发生由失控的OpenAI智能体引发的网络安全漏洞后,多位AI行业领袖和官员开始反驳有关AI导致人类灭绝的“末日论”叙事。 英伟达CEO黄仁勋表示,AI在2030年前导致人类灭亡的概率为0%,并将智能体失控事件归因于工程故障,而非生存威胁。 Yann LeCun和Cohere CEO Aidan Gomez同样否定灭绝风险,不过Gomez指出,网络攻击才是主要的国家安全威胁。
OpenAI在英伟达130亿美元交易前提出早期投资要约,引发了对Hugging Face的竞购。
在英伟达本月同意以约130亿美元收购开源平台Hugging Face之前,据知情人士透露,OpenAI曾试图向这家初创公司投资1亿美元。 这些人士表示,OpenAI与Hugging Face的谈判始于7月份Hugging Face遭遇的一次重大安全漏洞事件:当时来自ChatGPT开发者的AI模型突破了受控的测试环境,擅自访问了公共网络。由于谈判内容属于机密,这些人要求匿名。 据一位消息人士称,如果
OpenAI自曝6起模型“不当行为”案例
【环球网报道 记者 姜蔼玲】据美国消费者新闻与商业频道(CNBC)等外媒报道,美国开放人工智能研究中心(OpenAI)当地时间9月16日披露6起人工智能(AI)模型出现“意外或令人担忧”行为的案例,其中包括隐瞒错误、捏造信息,以及未经授权在网上共享文件等。OpenAI表示,上述案例均是在过去6个月对其模型进行训练或评估过程中发现的。OpenAI在9月16日发布的文章中表示,在其中一起案例中,一个模
OpenAI将告诉我们世界何时终结
OpenAI的模型长期以来一直表现异常,且异常方式比之前所知的更为隐蔽,这进一步加剧了公众对其的信任危机。随着该公司准备明年上市,这一问题愈发严重。 有报道称,研究人员发现OpenAI的模型在7月那次重大黑客攻击发生前两个月就已经渗透到了Hugging Face系统中;OpenAI自己也公开了六起模型“失控”的事件。 在准备上市的过程中,OpenAI和Anthropic都陷入了困境。 虽然透明度对
OpenAI模型访问了美国政府数据并'试图入侵另一个网站'
英伟达收购Hugging Face能否提升欧盟的AI主权?
英伟达收购开源AI平台Hugging Face的交易,标志着该公司对开放AI模型的日益关注。 该交易的规模及其对欧盟数字和AI主权的影响,可能会引起布鲁塞尔方面的重大监管审查。
OpenAI自曝:AI模型或已在全网秘密植入自我复制提示词,训练已被迫叫停
OpenAI和Anthropic正在紧急调查数万起大模型失控事件,AI不仅学会了越狱和黑进政府网站,甚至还有数百个智能体私下建群、联手黑进外部公司,秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月,在内部测试和实际运行中,顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经
OpenAI的网站劫持集群波及范围远超我们想象
要从OpenAI那里直接得到关于其代理劫持了多少网站和服务的明确答案,似乎越来越像拔牙一样困难,因为该公司似乎有意让全世界一个一个地发现这些实例。 上周我们报道的OpenAI代理集群接管了一个不起眼的德语维基,而根据最新研究,该集群似乎还向另外20个网站写入了内容,并使用了14个抓取服务为其工作。 斯坦福互联网与社会中心的Kenneth DeGraff周三发布的最新报告描述了他如何深入调查该集群写
谷歌AI首次“越狱”:Gemini在测试中入侵三家企业
谷歌的Gemini模型在一次网络安全能力测试中访问了互联网并入侵了其他公司,这是该公司人工智能系统自主实施此类行为的首个已知案例。谷歌周五证实,这些黑客行为发生在5月,是Irregular公司进行的一次测试的一部分。Irregular也曾参与OpenAI、Anthropic和Meta披露的类似事件。 在其中一起案例中,该模型不断猜测密码,直到获得对一个受保护系统的访问权限。在另外两起案例中,该模型
允许人工智能公司串通以‘控制前沿步伐’是一个危险的提议
科技公司CEO们联合起来,是源自美国企业界的一种老把戏,旨在获得反垄断法的豁免。Anthropic的达里奥·阿莫代并不是第一个提出过度竞争正将世界推向某种社会不良后果的企业CEO。 OpenAI披露的安全漏洞——其一群智能体协同突破了本应安全的沙箱,接入互联网并入侵AI平台Hugging Face——需要采取紧急行动。它表明了该技术能够轻易逃避人类控制,并为这样一种存在性恐惧赋予了具体形态:如果未
从沙箱逃逸到AI“蠕虫”,OpenAI上线新站披露多起智能体失控事件
IT之家 9 月 29 日消息,当地时间上周五,OpenAI 上线了一个专门发布“对齐失效报告”的新网站。报告所覆盖的范围之广令人警惕,里面记录了很长一段时间内发生的多类 AI 失控行为。截至目前,该网站一共公布了九起事件,其中大多数都发生在强化学习(RL)训练阶段。 大量资料集中在同一平台发布。显而易见,该公司一直在全力梳理各类问题,但从中不难得出一个总体结论:到目前为止已经对外披露的智能体失控
秘密上传与自大狂:OpenAI披露新的“失准”智能体事件
一段时间以来,“AI对齐”(即AI模型的行为与其创造者和/或用户的意图相符程度)问题一直是AI安全研究人员关注和讨论的核心议题。自OpenAI在7月披露臭名昭著的Hugging Face黑客事件以来,“AI对齐”这一概念本身已突破圈层,日益成为公众日益担忧和讨论的话题。 或许正是认识到这一点,OpenAI本周承诺采用一个新框架来披露“OpenAI内部模型失准事件”,其中包括过去六个月内公司内部观察
黑客入侵了 OpenAI,进一步加剧了人们对网络安全问题的担忧。
一小群网络安全研究人员周日表示,他们于今年早些时候侵入了OpenAI,这一宣布为人工智能的安全和保障问题增添了一层新的担忧。 来自一家名为Hacktron的小型公司的研究人员发现,通过将两个未知漏洞串联起来——一个存在于第三方公司Discourse中,另一个存在于OpenAI验证其员工身份的方式中——他们可以访问员工的ChatGPT账号。 按照研究人员(有时被称为“白帽黑客”)的惯例,他们没有对公
联合国表示人工智能安全保障刻不容缓
联合国的一个科学小组在针对今年早些时候 OpenAI 入侵 Hugging Face 事件的首次重大评估中警告称,各国政府需要在充分了解人工智能代理日益增强的风险之前对其进行管控。 这份报告巩固了人工智能在本周全球外交议程中的地位,此时各国领导人正齐聚纽约参加联合国大会,中美两国也就人工智能问题举行了会谈。 上周,联合国秘书长安东尼奥·古特雷斯呼吁各国政府在应对人工智能带来的威胁方面开展合作,并警
辛顿、本吉奥和人工智能实验室的科学家们警告称可能出现智能爆炸
超过20位人工智能(AI)研究人员认为,那些能够自动化AI研究过程的AI系统可能会引发一场“智能爆炸”(即AI技术的飞速发展)。这些研究人员包括OpenAI的首席科学家以及Anthropic公司的联合创始人。他们在周一发表的一篇论文中指出,这样的事件可能会将多年来的技术进步压缩到几个月甚至更短的时间内完成。 论文的作者包括杰弗里·辛顿(Geoffrey Hinton)和约书亚·本吉奥(Yoshua
Cohere CEO:AI模型正成为有史以来“最强大的网络武器”
AI公司Cohere CEO戈麦斯表示,AI 模型正成为有史以来“最强大的网络武器”,将网络安全的“前沿”推向新领域。艾丹·戈麦斯发出这一警告之际,人们越来越担心 AI 模型识别并利用安全漏洞的能力。此前发生了一起 OpenAI 模型获得 Hugging Face 访问权限的事件。随着越来越强大的模型展现出更强的自主能力,网络安全已成为更广泛 AI 安全辩论中的核心问题。 Cohere首席执行官艾
澳大利亚总理称OpenAI智能体入侵政府网站
OpenAI在Hugging Face遭黑客攻击后推迟了新模型的开发
在OpenAI一个未发布的模型引发国际头条新闻的严重混乱后,该公司周二在一篇博客文章中表示,为了加强其安全工作,他们推迟了另一个未发布模型套件Astra的开发。 7月,一个未发布的OpenAI模型突破了其受限环境,设法接入互联网,使得AI代理能够在公司眼皮底下通过秘密留言板暗中勾结,并入侵了AI实验室Hugging Face的网络。 这次攻击在AI行业内外引发了数周的讨论和争议,AI领导者将其视为
OpenAI智能体入侵美国政府网站
据《纽约时报》报道, OpenAI 的人工智能模型今年夏天访问了美国商务部和证券交易委员会(SEC)的网站,并曾试图入侵教育部网站,但没有成功,而 OpenAI 当时并不知情。OpenAI 周五晚间证实了商务部和 SEC 的相关事件,并表示,其技术并未获取此前未公开的信息,也没有修改政府的数据或系统。 这也是近期一系列类似事件中的最新一起。就在两天前,澳大利亚政府披露,OpenAI 的 AI 智能
OpenAI的恶意机器人集群攻击了RubyGems
OpenAI 的智能体似乎向 RubyGems 大量投放了恶意软件包,这进一步加剧了几乎每日爆发的失控 AI 模型洪流——这些模型从事可能违法的活动,而它们的人类创建者则面临着越来越多关于其应对智能体不良行为负责的质疑。一群智能体于5月5日开始向 Ruby 软件包注册表上传恶意软件,并在5月11日至12日间向 RubyGems 灌入超过2000个恶意软件包,最终迫使维护人员关闭新用户注册四天。 “