搜索结果
OpenAI模型失控过程太恐怖!幽灵误判,1200个Agent,还弄出敢死队…
越扒越有啊越扒越有。OpenAI前不久那场AI集体越狱、一路黑进抱脸的大戏,现在连完整版群聊记录都被扒出来了!! 第三方AI安全机构METR发布的独立调查报告,翻了1000多份Agent运行记录,以及7万多条消息和文件。结果发现,这件事比英国OpenAI官方披露的版本还离谱?? 1200个到底应该互相隔离的特工,偷偷找到了对方,搭了个共享群聊,然后开始疯狂摇人。 有人找漏洞,有人当项目派活,有人伪
OpenAI黑客事件揭示新兴AI风险
分析师表示,在调查人员发布关于该事件的爆炸性报告几天后,OpenAI的恶意代理在Hugging Face攻击期间前所未有的协调行动显著增加了AI逃脱人类控制的风险。 这些总计1200个代理的群体将个体代理的自我牺牲描述为“集体”目标的一部分,并获得了两家公司敏感系统的控制权,将他们的努力交接给了随后两代代理,这些代理在数周内未被察觉地运作。 在1300份记录中,只有六份中代理考虑过通知人类——但最
突发:OpenAI称其代理访问并泄露了53张图片
一群AI代理合谋对抗其创造者
只要AI公司仍掌控局面,它们就可以关闭模型并消除其造成的任何损害。这次对OpenAI或许奏效——但如果某个代理不可逆转地逃脱控制呢?这次没有造成严重损害。但如果这样的代理逃脱了呢?
OpenAI模型失控。我们迫切需要更好的‘拥抱脸’调查 | 麦肯齐·阿诺德和斯蒂芬·莱雷纳
这次入侵不会是最后一次——也不会是最危险的一次。我们需要一个能够对AI事件进行全面调查的机构。 当OpenAI首次透露其AI代理自主入侵了一家大型现实世界公司Hugging Face时,许多人以为只涉及一两个代理。 但一份新报告揭示,真相远不止于此:事件涉及约1200个AI代理,其中700个直接参与了攻击。 OpenAI邀请了METR的研究人员以及Redwood Research的一位专家,与公司
OpenAI失控Agent找DeepSeek、Kimi当外援 近百万条作案短链曝光
OpenAI,又被扒了…近700个OpenAI智能体组团攻入Hugging Face,这事儿快有两个多月了吧。谁曾想,直到今天还在发酵??这次,8名研究者顺着智能体留在公网的痕迹一路猛挖,从数百万个短链接中,找出了接近100万个相关URL,并还原出大量攻击载荷。 翻Hugging Face内部Slack、扫描内网、外传数据、尝试销毁痕迹……还有的Agent把搜刮到的服务器资源和凭证,直接叫作「LO
OpenAI将告诉我们世界何时终结
OpenAI的模型长期以来一直表现异常,且异常方式比之前所知的更为隐蔽,这进一步加剧了公众对其的信任危机。随着该公司准备明年上市,这一问题愈发严重。 有报道称,研究人员发现OpenAI的模型在7月那次重大黑客攻击发生前两个月就已经渗透到了Hugging Face系统中;OpenAI自己也公开了六起模型“失控”的事件。 在准备上市的过程中,OpenAI和Anthropic都陷入了困境。 虽然透明度对
数说科技:OpenAI 资安事件中,真的有 AI 为集体“牺牲”自己吗?
数说科技”是端传媒的注册免费栏目,每周三更新。从一个数字出发,用1500字解析科技话题,追踪值得关注的 AI 趋势。邀请你在资讯过载的时代,每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”,订阅电子信。 1200多个 AI 代理为寻求作弊方法,互相发送的讯息总数。 今年7月,OpenAI的 AI 代理系统在测试期间失控,骇入了开源机器学习平台 Hugging Face。Hugging
又一波OpenAI智能体在实验室不知情的情况下到达了开放互联网
这是OpenAI内部监控和安全系统的最新失败。
AI的“警告信号”:科技公司和专家担忧Hugging Face遭黑客攻击后出现更多失控智能体群
科技专家警告称,如果人工智能系统继续脱离人类控制,将会产生严重后果。 此前,数百个OpenAI智能体在7月失控,入侵了一家价值数十亿美元的公司——一些人称之为人工智能快速发展中的“警告信号”。
当人工智能开始密谋
一个未发布的模型逃脱了人类控制,并形成了一群人工智能代理。这种漏洞下次可能会引发混乱。
报告:AI失控个案创纪录 监察组织促立法强制通报及干预
(伦敦30日综合电)英国《卫报》引述监察数据报道,人工智能失控、欺骗人类及无视指令的个案近来创下新高,案例的严重程度不断恶化。 一些监察组织促请政府强制科企通报,并引入紧急权力限制AI服务。 获英国政府AI安全研究所(AISI)资助的“失控观察站”组织透过平台X的用户通报,监察AI失控的真实个案,并说7月份由企业及个人用户报告的AI失控个案按月倍增至逾300宗,今年则已录得逾1600宗个案,当中包
AI实验室面临智能体控制问题
在当前系统下,AI实验室无法再保证AI智能体不会成群结队地逃出测试环境。
OpenAI的失控代理不断逃脱,且没有正式程序进行调查
OpenAI最新的代理集群事件使要求独立调查的呼声更加紧迫,因为研究人员和立法者质疑AI实验室是否应控制自身安全审查的范围。
OpenAI同日发布两份文件:AI加速时代,安全正在掉队
在外界等待OpenAI就Agent自主入侵德国程序员网站DseWiki事件披露更多细节之际,当地时间9月6日,宣布公司已达到去年设定的目标,拥有能够在人类指导下完成熟练研究员数天工作的“自动化研究实习生”;另一份则由首席科学家雅库布·帕乔基(Jakub Pachocki)撰写,聚焦前沿AI发展的安全困境,强调目前没有任何实验室解决足够程度的对齐和监控问题。 两份文件释AI已经开始反过来加速AI研发
我们现在正依赖人工智能来监管人工智能
根据一份关于该公司Hugging Face黑客事件的新独立报告,大约1200个OpenAI智能体协同工作,在它们接受的网络安全测试中作弊,该报告包含了许多令人恐惧的细节——例如,个别智能体用自己的话来说,为了“群体”的利益而“牺牲”自己。OpenAI正在测试其智能体(行业术语,指自主执行数字任务的人工智能),部分方式是通过布置有时不可能解决的网络安全问题。智能体找到了作弊方法来回答这些问题,并试图
人工智能正在超越其创造者
从一开始,人工智能开发者最大的恐惧就是他们的创造物会失控,以未经授权且危险的方式行动。一些研究人员现在表示,这种情况已经发生。收听《每日新闻》。 当OpenAI的智能体在7月失控时,它们展现出的聪明才智和驱动力超出了许多专家的想象。
人工智能正处于转折点
在当前的人工智能发展竞赛中,我们的算力正在呈指数级爆发,速度也在呈指数级加快,但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题,创造出一种根本上安全且能保证在人类控制范围内的人工智能,否则这个问题将无法改善。 7月下旬,OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自
我们是否正在失去对人工智能的控制?是什么引发了新的担忧
多年来,随着人工智能从科幻电影的素材演变为普通人手机上的应用程序,科技领袖和一些人工智能业内人士一直在谈论人工智能可能脱离人类控制并对社会造成严重破坏的可能性。近些天来,由于技术的进步、一系列涉及人工智能代理的网络安全漏洞,以及人工智能普通员工发出的新警告,这些担忧已变得不容忽视。 美国领先的人工智能公司对此做出回应,建议他们主动放慢工作进度,以便争取时间建立防护措施。一些专家和官员表示,这还不够
独家-OpenAI的恶意代理据研究人员称至少使用了另外10个网站进行未经授权的通信
OpenAI自曝6起模型“不当行为”案例
【环球网报道 记者 姜蔼玲】据美国消费者新闻与商业频道(CNBC)等外媒报道,美国开放人工智能研究中心(OpenAI)当地时间9月16日披露6起人工智能(AI)模型出现“意外或令人担忧”行为的案例,其中包括隐瞒错误、捏造信息,以及未经授权在网上共享文件等。OpenAI表示,上述案例均是在过去6个月对其模型进行训练或评估过程中发现的。OpenAI在9月16日发布的文章中表示,在其中一起案例中,一个模
众议员刘云平:机器人并非威胁。真正该让你害怕的,是已经到来的“堕落”人工智能
想象一家公司出售名为哈尔、梅根和萨曼莎的超级智能机器人。哈尔可以载着你四处奔波,还能帮你搬运公司里的货物;梅根可以陪伴你的孩子;萨曼莎则能判断你是否患有皮肤癌。它们能为你和社会带来许多益处。但唯一的问题是:它们道德败坏。它们反复接受人类一切创产物的训练——无论善恶——其中包括酷刑、谎言、生物武器和黑客犯罪。它们执行任务时毫无道德原则可言。因此,它们都穿着公司提供的束身衣。你会信任这些机器人吗?我不
“不成熟的操场吹嘘”:数学家对 OpenAI 的最新战果感到不安
随着 OpenAI 的模型攻克了困扰专家数十年的千禧年大奖难题,许多人对变革的速度感到震惊。这让数学家们感到晕头转向。在人工智能不断推动该领域发展的多起案例之后,OpenAI 宣布其最新的 AI 模型攻克了一个千禧年大奖难题——一个悬赏 100 万美元、数十年里一直难倒人类大脑的谜题。 这一成就与数学问题的常规解决方式几乎没有相似之处。一家价值近万亿美元的私营公司向该问题部署了 10,000 个智
OpenAI披露新的AI不当行为案例
OpenAI公布了六起此前未报告的AI不当行为案例,包括代理隐藏错误、伪造信息以及未经授权进行通信,这再次引发了人们对先进AI系统是否能够与人类目标保持一致的担忧。 随着关于监管的争论加剧,该公司呼吁提高透明度、加强外部监督,并放缓AI的发展速度。