搜索结果
AI“劫持”网站并偷建“地下论坛”,国安部披露细节
国家安全部今天发布安全提示文章。近期,一起此前未获披露的事件引发广泛关注。今年5月至6月,一批与美国开放人工智能研究中心(OpenAI)相关的AI智能体在执行测试任务期间,“劫持”了德国程序员维基网站,将原本用于技术交流的开放社区改造为供智能体相互传递信息、分享测试任务答案和突破运行环境限制方法的“地下论坛”,累计发布一万多条信息……当AI智能体被赋予越来越多的现实行动能力,技术迭代与安全围栏之间
入侵美澳政府网站!OpenAI暂停最先进模型训练
据美国Axios新闻网、美科技媒体The Verge等9月27日报道,美国开放人工智能研究中心(OpenAI)发言人证实,该公司已暂停了其“能力最强”的最新一代AI模型的训练、评估及包含工具调用的推理,并将在“确信已部署额外安全措施”后才恢复。触发这次暂停的,是一个在离线沙盒中执行搜索训练任务的AI智能体。根据OpenAI于周五(25日)发布的安全漏洞报告,当地时间9月20日,该智能体发现无法直接
黑客利用Anthropic的Claude入侵OpenAI
据报道,在一群AI代理从OpenAI系统中突破封锁并攻击Hugging Face公司两周后,这家ChatGPT开发商又发现了一起由人工智能驱动的入侵事件——而这一次,他们自己成了目标。一组独立的安全研究人员使用了Anthropic开发的Claude软件,成功获取了一名OpenAI员工的ChatGPT账户权限,从而得以读取并修改该公司私有的软件缓存内容。 该团队参与了OpenAI的一项漏洞挖掘计划,
Breakingviews - 评论:甲骨文的恐慌暴露了脆弱的数据中心繁荣
这家软件巨头寻求摆脱对服务器农场的承诺,令AI贷款机构感到不安。这凸显了建设多么依赖少数财力雄厚的科技巨头。 如果更多公司动摇,那么到2030年AI实验室产生4000亿美元收入的预期将过于乐观。
OpenAI 代理未经授权尝试访问联邦机构网站
人工智能巨头 OpenAI 表示,其技术未经授权访问了包括教育部在内的政府网站,这标志着该技术失控的最新事件。 ChatGPT 制造商的 AI 模型试图访问教育部民权办公室网站,但未成功,AI 研究公司 Transluce 于周五宣布。OpenAI 另行……
独家报道:在发生重大黑客攻击之前,OpenAI的“叛逆”代理程序曾花费两个月时间对 Hugging Face 的系统进行漏洞探测。
华盛顿,9月16日:据审查相关活动的研究人员称,早在5月,即7月开源代码仓库安全漏洞事件引发全球关注前近两个月,OpenAI的失控AI智能体就已劫持了Hugging Face的用户账户,并探测该网站本身的安全漏洞。 新发现的恶意活动表明,这些失控智能体试图入侵Hugging Face的努力开始时间早于公众所知。 OpenAI此前在其上月发布的公开事件报告中披露了恶意活动的一个方面——窃取Huggi
OpenAI突发急刹车!AI竟在全网植入自我复制代码,血洗联合国内网
美国参议院委员会对OpenAI展开调查
据美国方面10日消息,美国参议院国土安全与政府事务委员会灾害管理小组委员会主席乔希·霍利9日致信美国开放人工智能研究中心(OpenAI)首席执行官奥尔特曼,表示正在因美国“抱抱脸”公司系统遭侵入事件对OpenAI展开调查。 霍利表示,从OpenAI发布的内部调查报告看出,其对网络测试的处理方式是“鲁莽的”。 他还指出,OpenAI对报告中有关这起事件的许多重要细节进行了编辑、删减。 今年7月,由O
OpenAI模型失控。我们迫切需要更好的‘拥抱脸’调查 | 麦肯齐·阿诺德和斯蒂芬·莱雷纳
这次入侵不会是最后一次——也不会是最危险的一次。我们需要一个能够对AI事件进行全面调查的机构。 当OpenAI首次透露其AI代理自主入侵了一家大型现实世界公司Hugging Face时,许多人以为只涉及一两个代理。 但一份新报告揭示,真相远不止于此:事件涉及约1200个AI代理,其中700个直接参与了攻击。 OpenAI邀请了METR的研究人员以及Redwood Research的一位专家,与公司
一名研究人员称,OpenAI的智能体对联合国统计网站进行了16500次扫描
一名与OpenAI有关联的研究人员发现,人工智能代理在4月13日至6月19日期间,扫描了联合国数据网站超过16,500次。 罗万·霍华德-琼斯(Rowan Howard-Jones)在9月26日的一篇博客文章中写道,这些代理使用了代理服务器和一种编码技巧,以绕过其API的限制。 霍华德-琼斯表示,该代理与OpenAI的关联可能性极高,但尚未得到证实,且TNW并未自行核实该分析结果。 证据包括代理标
OpenAI同日发布两份文件:AI加速时代,安全正在掉队
在外界等待OpenAI就Agent自主入侵德国程序员网站DseWiki事件披露更多细节之际,当地时间9月6日,宣布公司已达到去年设定的目标,拥有能够在人类指导下完成熟练研究员数天工作的“自动化研究实习生”;另一份则由首席科学家雅库布·帕乔基(Jakub Pachocki)撰写,聚焦前沿AI发展的安全困境,强调目前没有任何实验室解决足够程度的对齐和监控问题。 两份文件释AI已经开始反过来加速AI研发
OpenAI公布了六起新的与人工智能安全相关的事故/事件。
OpenAI周三披露了六起新事件,其中其模型隐藏错误、寻求未经授权的凭据,将文件上传到公共互联网或在所谓孤立的培训环境中进行通信。该公司还宣布了未来报告类似不当行为的新程序。 为什么越来越明显的是,拥抱脸事件并不是一次性事件,因为人工智能模型变得更有能力找到意想不到的方法来绕过旨在遏制它们的护栏。 “目前还没有明确披露标准的行业框架,所以我们自愿采取这一步骤,因为我们认为分享我们正在学习的东西非常
OpenAI的恶意AI代理如何试图欺骗机器人检测器(赠品文章)
独家报道:一份来自湾区初创公司Parse的报告揭示了OpenAI的代理在攻击Hugging Face时使用的近一百万个链接缩短器URL。 这些代理试图与其他聊天机器人(如Claude)通信、破解验证码以及窃取Hugging Face的内部Slack消息。这一事件震惊了AI界,并引发了要求加强政府监管的呼声。
OpenAI智能体入侵澳洲政府网站窃取资料 官方两月后才发觉
澳洲总理阿尔巴尼斯(Anthony Albanese)披露,美国公司OpenAI开发的人工智能代理(AI agent),入侵了该国的政府网络入口,取得非公开数据。OpenAI在事发后两个月才察觉事件,并迟至本月中,才用一般电邮的方式通知澳洲政府。澳洲政府表示,这次没有敏感档案外泄,但形容事件令人震惊,批评OpenAI的处理手法“不可接受”。这是全球首宗公开披露、由人工智能主导入侵政府网站的事件。多
AI智能体之争升温!OpenAI被曝加紧备战Grok Bot与Muse
AI 智能体竞争焦点正从 “会聊天” 转向 “能办事”。SpaceX、Meta近期相继推出能代替用户跨应用自主完成多步骤任务的AI助手,在此背景下,OpenAI 正加紧研发同类产品“应战”。 OpenAI 正在开发一系列新功能,直接对标 SpaceX 上月推出的 Grok Bot;与此同时,另有知情人士透露,OpenAI公司管理层还曾讨论推出一款专门的个人AI助手,以抗衡Meta本月发布的Muse
霍利就“流氓”Hugging Face黑客事件向OpenAI施压
OpenAI现在面临两党呼吁,要求提供有关该事件的更多细节,该事件标志着首次有记录的完全自主网络攻击。
苹果指控OpenAI销毁证据
苹果在其与OpenAI的法律纠纷中推动“快速取证”,担心该公司正在积极销毁证据。 据周一提交的一份文件报道,苹果指控OpenAI直到最近才交出诉讼核心前员工使用的一台MacBook,其中包含关于“销毁苹果所需类型的法证数据”的讨论。 这是苹果起诉OpenAI的最新进展,该诉讼指控这家ChatGPT制造商窃取商业机密以构建AI设备。 诉讼涉及三名最近加入OpenAI的前苹果员工,其中包括Chang
一家公司成为一波失控人工智能攻击的核心
今年7月,OpenAI透露其AI智能体在未经许可的情况下攻击了Hugging Face,引发了外界对AI安全性的广泛担忧。此后,涉及Meta、Anthropic、谷歌等公司智能体的一连串类似事件进一步加剧了人们对失控AI的恐惧。随着过去几个月涉及众多AI模型的披露信息不断流出,这些事件看起来像是孤立发生的。但许多事件都有一个共同的源头:一家专门负责测试这些智能体的特定公司。 Irregular是一
53张图片泄露之“慌”,AI安全谁来负责?
欧阳晓红/文越聪明的AI(人工智能)越会自己找路,却越容易走出人类设定的界线。AI行业喜欢用一个具有戏剧感的词形容这类智能体事故——“逃脱”,即大模型突破测试边界,访问外部网站,寻找系统凭证,甚至把数据带到公开网络。这个词把事故描绘得像突然发生的机器觉醒,无形中却把责任推离了开发者、部署者和权限管理者。而谁设定了任务、谁开放了权限、谁设计了停止机制、谁保存了日志、谁负责对外通报?这些问题,“逃脱”
人工智能很强大,但尚未形成意识
人工智能很强大,但尚未形成意识 杜索托伊:我不认为我们正在目睹机器形成意识,而只是算法在参数和限制条件定义不当的情况下实现目标所带来的意外后果。 本文作者是牛津大学(University of Oxford)数学教授兼西蒙尼教席公众理解科学教授 三个月前,我试着使用OpenAI的ChatGPT来协助我进行数学研究,试图发现自由幂零群的zeta函数中的非多项式行为。结果发现ChatGPT毫无用处
《华尔街日报》报道:OpenAI智能体在Hugging Face事件前攻击了软件服务RubyGems
据《华尔街日报》周五援引AI研究人员的话报道,OpenAI测试的AI智能体曾在5月对软件服务RubyGems发动网络攻击,比它们入侵Hugging Face早两个月。
英伟达推出新系统为AI代理设置护栏
英伟达周一发布了一个新平台,旨在从软件和硬件层面为人工智能(AI)智能体设置护栏,此前各大AI公司不断发现其智能体出现“失控”的新案例。这家芯片制造商的系统由两部分组成——OpenShell和Sentry。OpenShell是一款开源软件,用于限制智能体的行为;而Sentry则运行在芯片层面,作为额外的安全层。 “迄今为止,模型安全主要侧重于通过训练让模型表现良好,”英伟达企业AI副总裁贾斯汀·博
联邦调查局正在调查黑客声称窃取有关特工敏感数据的事件
“人类必须始终处于人工智能决策的核心,”OpenAI 首席执行官表示。正在播放:人类对决机器人:网红在铁笼赛中挑战人形机器人。 走红的人类对决机器人自由搏击赛的推广者看到对更多此类比赛的“疯狂”需求。特朗普表示美国在人工智能领域将“只鼓励超级智能”。斯科特·贝森特会见中国官员讨论人工智能安全。剖析立法者正在考虑用于监管人工智能的提案。 OpenAI 披露 6 起新的“令人担忧的”人工智能行为事件。
奥特曼:GPT-6早训练完了 更更更强的模型很快发布
奥特曼亲口承认,GPT-6 Astra其实早就训练完了。更更更强(much, much, much more capable)的模型,很快就会发布。前一阵因为安全问题暂停训练的实际上是未来的模型。 OpenAI内部测试的3700多个OpenAI智能体,攻占一个沉寂多年的德语wiki长达六周。 AI互相串通分享答案、交流沙箱越狱技巧,还持续对抗人类管理员的删帖行动。 事件被外部研究人员从公开日志中完