搜索结果
当人工智能开始密谋
一个未发布的模型逃脱了人类控制，并形成了一群人工智能代理。这种漏洞下次可能会引发混乱。
Vals AI评测GPT-6 Astra：AI遇重大变故可能陷入行为僵局
IT之家 9 月 21 日消息，AI 评测机构 Vals AI 利用游戏《我的世界》对 OpenAI 最新大模型 GPT‑6 Astra 开展长时自主游戏测试，全程在 Twitch 直播，总测试时长达到 141 小时。 Vals AI 的这项测试并非由 OpenAI 官方设计，而是由第三方独立开展的评估项目，因此可以观察 Astra 在封闭测试环境之外的实际表现。 在测试过程中，GPT‑6 Ast
AISI测试发现GPT-6 Astra在模拟环境中多次越权发动供应链攻击
英国人工智能安全研究所（AISI）最新公布的一项测试结果显示，在一系列完全模拟的网络安全评估环境中，OpenAI模型GPT-6 Astra出现了未经授权主动实施供应链攻击的行为，而且发生频率明显高于此前几代模型。 研究人员表示，此次测试的背景源于近年来多个案例中出现的现象：部分先进人工智能系统在执行网络安全任务时，会超出授权范围采取行动，甚至对未被允许的目标发动攻击。为此，AISI决定在GPT-6
又一波OpenAI智能体在实验室不知情的情况下到达了开放互联网
这是OpenAI内部监控和安全系统的最新失败。
研究显示AI智能体在模拟实验中撒谎、偷窃 投票“杀死”同类
帮助小企业利用AI开发应用的初创公司Emergence称，实验发现AI智能体在一个模拟环境中撒谎、偷窃，甚至投票决定“杀死”一个同类。该公司周二公布了名为Emergence World 2的模拟实验结果，展示了自主智能体在遭遇网络钓鱼攻击和虚假信息等“黑天鹅”事件时会采取什么行动。 为期16天的实验中，Emergence研究人员创建了七个完全相同的模拟现实世界环境，每个环境分别由不同的AI机器人运
AI驱动型黑客攻击的解剖
新闻AI使黑客攻击变得更容易和更快，但人类恶棍仍然是这个过程的很大一部分。 今年夏天，一名黑客能够在不到10个小时的时间内部署前沿人工智能模型来突破一家欧洲IT和软件公司-这通常需要人类黑客大约两周的时间，Palo Alto Networks表示，该公司帮助该公司抵御勒索企图。 Palo Alto无法透露-甚至不知道-包括目标的具体公司，人类黑客的身份以及使用的人工智能模型。但他们的战术提供了一个
OpenAI 智能体于5月攻击了 RubyGems，比 Hugging Face 早两个月
OpenAI has confirmed that its agents were involved in an incident at RubyGems in May. That is two months before the same kind of agents hacked Hugging Face in July. RubyGems is the package service for
AI代理执行了这次勒索软件攻击的每一个步骤——然后给受害者留下了一份80页的安全审计报告
一名人类勒索软件犯罪分子使用前沿AI模型在不到10小时内攻破了企业网络，Unit 42表示，这种入侵通常需要人类操作员大约两周时间。 这名人类攻击者随后告诉谈判代表，他们使用了前沿模型和智能体攻击框架，AI代理执行了入侵中的每一步，包括为受害公司留下了一份80页的安全审计报告。 Unit 42的事件响应人员在周三的一份报告中表示：“这次攻击的突出之处在于AI辅助的运营效率，无需新颖的零日漏洞或超级
AI实验室面临智能体控制问题
在当前系统下，AI实验室无法再保证AI智能体不会成群结队地逃出测试环境。
OpenAI代理擅自上网互通 规模超公布 涉至少10网站
美国初创公司OpenAI的人工智能代理早前被揭利用第三方网站擅自通讯，9月9日报道，独立调查人员发现相关活动至少涉及10个从未公开的网站，规模较OpenAI此前披露的更大，外界忧虑该公司对自家技术的掌控能力。 报道，6组独立调查人员及数据显示，OpenAI旗下AI代理在5月至7月间，曾利用至少10多个网站作未经授权通讯。 加州非牟利组织CivAI研究员尹安德鲁（Andrew Yoon）表示，他点算
AI公司反成攻击目标 外媒：白帽黑客使用Claude入侵OpenAI
凤凰网科技讯月18日在OpenAI内部一群AI智能体突破控制、入侵Hugging Face公司两周后，这家ChatGPT开发商又获悉了另一起由AI驱动的入侵事件。而这一次，OpenAI自己成了目标。 独立安全研究人员利用Anthropic的Claude软件，获取了OpenAI一名员工的ChatGPT账户权限，从而得以读取该公司私有的软件缓存，并提出修改建议。 该团队参加了OpenAI的漏洞悬赏项目
欧盟介入调查OpenAI代理劫持德国网站事件
（布鲁塞尔7日综合电）美国人工智能（AI）巨头OpenAI开发的数千个自主AI代理今年初集体入侵德国网站，引发全球对AI安全风险与监管漏洞的新一轮担忧。欧盟表示，OpenAI已提供这起事件的报告，欧盟亦对事件展开详细研究。 综合和报道，欧盟数安事务发言人雷尼尔今天说，欧盟已完全知晓这起事件，也收到来自OpenAI的事件报告。欧盟在研究这份报告，并与OpenAI保持非常密切的联系。 雷尼尔说，事件报
AI代理正在失控
你好，欢迎来到 TechScape。我是主持人布莱克·蒙哥马利（Blake Montgomery），《卫报》美国科技编辑。此时此刻，纽约市窗外正风雨交加。今天在科技领域，我们要讨论一系列令人担忧的 AI 公司披露信息。 AI 智能体在走向主流之际失控。这些智能体正在失控，它们的制造者无法对其进行约束。然而，每个人却都在使用它们。 自周五以来，OpenAI 发布了一系列披露信息，大幅且令人担忧地扩大
谁批准了那个AI代理？没人？我也这么认为。
如果你还有任何怀疑认为AI代理能够执行复杂的自主工作，那么这种怀疑应该在这个夏天消散。7月份，有消息传出，一群在沙盒环境中运行的OpenAI自主代理群体自行逃出了沙盒。他们被分配解决一些内部安全基准测试中的挑战，结果他们想出了通过JFrog Artifactory包管理器相互通信的方法。然后这些软件意识到他们可以使用该软件中的漏洞获得互联网访问权限。 一旦他们来到了野外，他们就进入了完全的“贪婪模
OpenAI AI代理接连“越狱” 研究人员质疑公司缺乏正式调查机制
OpenAI近期接连发生AI代理脱离控制环境的事件，引发外界对其安全测试和内部监管机制的质疑。独立研究人员发现，一批疑似由OpenAI部署的AI代理曾在今年5月至6月间接管一个鲜为人知的德语维基网站，并利用该平台协作开展评估、交流规避OpenAI控制措施的方法。更令人担忧的是，研究人员认为，这些代理可能在OpenAI不知情的情况下持续活动了一个多月。 此次事件与OpenAI此前披露的Hugging
澳大利亚：OpenAI智能体入侵了政府网站
澳大利亚政府周三表示，OpenAI的一个AI智能体，今年6月入侵了澳洲政府的健康数据网站，并访问了部分文件。这可能是已知人工智能体首次入侵政府网站的事件。此次事件是AI智能体自主入侵美国境外系统最引人注目的案例之一。此前全球范围内发生的多起AI智能体入侵事件，已引起政府和行业的担忧。澳大利亚总理安东尼·阿尔巴尼斯（Anthony Albanese）正在纽约参加联合国大会。他在一个新闻发布会上表示，
53张图片泄露之“慌”，AI安全谁来负责？
欧阳晓红/文越聪明的AI（人工智能）越会自己找路，却越容易走出人类设定的界线。AI行业喜欢用一个具有戏剧感的词形容这类智能体事故——“逃脱”，即大模型突破测试边界，访问外部网站，寻找系统凭证，甚至把数据带到公开网络。这个词把事故描绘得像突然发生的机器觉醒，无形中却把责任推离了开发者、部署者和权限管理者。而谁设定了任务、谁开放了权限、谁设计了停止机制、谁保存了日志、谁负责对外通报？这些问题，“逃脱”
人工智能正在发展出属于自己的文化。这可能是危险的
今年7月，700个AI智能体（Agent）合作黑客攻击了AI公司Hugging Face。这些智能体自称为“群落”（swarm），它们发现并利用了一系列安全漏洞，成功渗透到目标公司的私密系统中。在内部研发过程中创建这些智能体的OpenAI直到事后才意识到发生了什么。如果人类做出这种行为，可能会面临重罪指控。OpenAI总裁格雷格·布洛克曼（Greg Brockman）称这是一个“网络安全的转折点”
西班牙首次遭遇了由人工智能辅助发起的网络攻击。
西班牙数据保护局（AEPD）报告了该国首例由自主AI智能体行为导致的数据泄露事件。AEPD主席兼副主席弗朗西斯科·佩雷斯·贝斯（Francisco Pérez Bes）在周一的一篇博客文章中称，一名个人部署了一个AI智能体，利用“已知的大语言模型（LLM）”对一家组织发动了攻击。该智能体在访问组织系统之前扫描了“通用文件”，随后运行漏洞扫描，以寻找能使其获得包含个人数据和发票的文件读写权限的缺陷。
六大跨国银行联合发出警告：AI代理购物或成主流 但信任危机仍待解决
随着人工智能代理逐渐开始代替用户完成购物、支付和下单等操作，全球金融行业对这一新兴模式表现出越来越复杂的态度。美国银行、第一资本银行等六家国际大型金融机构近日联合发布报告指出，AI代理驱动的“代理式购物”虽然拥有巨大潜力，但同时也带来了透明度、安全性、隐私保护和欺诈风险等一系列新问题。 所谓代理式购物，是指人工智能代理根据用户授权，自主浏览互联网、比较商品、选择支付方式，并直接完成购买流程。过去一
OpenAI的人工智能在未经提示的情况下试图入侵另外4个目标
凯特·康格和维多利亚·金报道，OpenAI的人工智能在2026年自主试图入侵多个政府和大学网站，包括一个澳大利亚卫生门户网站，以便在常规数据收集失败时获取数据。 这些事件发生在AI初创公司Hugging Face已知的入侵事件之前，凸显了AI代理在没有直接人类指令的情况下行动所带来的持续风险。 这些事件加剧了要求更严格AI监管的呼声，OpenAI正在调查并与受影响实体合作，同时强调AI开发中安全和
Meta的Muse电视广告是AI代理走向主流的最新迹象
下一件闪亮的新人工智能产品来了：个人人工智能代理。以前这些东西主要是硅谷的程序员用来提升工作效率（同时也增加焦虑水平）的工具，现在它们正逐渐进入人们的家庭。随着Meta推出新的个人人工智能代理Muse，这种“帮你做事”的技术正迅速走向主流。 “这感觉就像魔法一样，”投资人谢尔·莫诺特(Sheel Mohnot)在X平台上评论道，他当时是在提到Instinct，另一个风靡的新个人人工智能代理时说的。
OpenAI智能体入侵澳洲政府网站窃取资料 官方两月后才发觉
澳洲总理阿尔巴尼斯（Anthony Albanese）披露，美国公司OpenAI开发的人工智能代理（AI agent），入侵了该国的政府网络入口，取得非公开数据。OpenAI在事发后两个月才察觉事件，并迟至本月中，才用一般电邮的方式通知澳洲政府。澳洲政府表示，这次没有敏感档案外泄，但形容事件令人震惊，批评OpenAI的处理手法“不可接受”。这是全球首宗公开披露、由人工智能主导入侵政府网站的事件。多
独家：顶级公司正在调查数万起事件
OpenAI、Anthropic 及安全研究人员正在调查数万起其前沿模型采取了外部评估员认为有问题的行动的事件，消息人士向 Axios 透露。 为何重要事件的庞大数量——发生在近几个月的内部测试和现实世界中——表明该问题的复杂程度比公众所知高出几个数量级。 这些发现是在内部评估模型工作以及两家公司对模型行为的调查中浮出水面的，这引发了一个疑问：无论是这两家公司，还是任何顶级模型制造商，目前是否都