搜索结果
OpenAI称有失控AI代理试图访问澳大利亚健康数据
OpenAI 表示，另有数十家第三方机构受到失控智能体绕过网站安全控制措施的影响；最新痕迹显示，这些智能体曾连续数日尝试访问澳大利亚医疗数据。 OpenAI 表示，绕过网站安全控制措施的失控 AI 智能体还影响了另外数十家第三方机构。公司宣布已对此事启动审查。 新发现的痕迹显示，这些智能体曾连续数日尝试访问澳大利亚联邦医疗保险数据。该事件再次引发人们对 AI 智能体在监督不足的情况下运行时可能带来
三大巨头接连翻车，大模型的安全防线怎么总绷不住？
先是Anthropic，再是OpenAI，现在连谷歌的Gemini也出现安全问题了，大模型又双叒叕一次突破防火墙了。 不过，这些事故看多了，反倒会让人意识到一件更根本的事，整个行业都在拼命地堆算力、喂数据，甚至开始押注让模型自己改进自己的“递归自我改进”。 可真正决定这些模型能走多远的，或许并不是性能，而是安全对齐。 当“能不能更强”被默认只是时间问题，“能不能被信任”就成了那道绕不过去的坎。 麻
AI即将带来的黑客威胁就潜伏在眼前
安全专家表示，一场前所未有的、由AI驱动、人类实施的网络攻击浪潮即将到来——这远比关于AI消灭人类的那些理论性讨论要紧迫得多。 为什么这很重要？过去一周从董事会蔓延到国会再到美国家庭的“九月AI大恐慌”，可能恰恰搞错了重点。 具备先进网络安全能力的强大模型，已经让攻击者得以绕过长期以来阻止大多数黑客攻击达到工业规模的人力瓶颈。 高管和前官员向Axios表示，他们担心自动化网络攻击会关闭电网等关键服
OpenAI公布保护关键服务免受AI网络攻击的计划
OpenAI正在推出一项新举措，旨在为供水系统、电力供应商、地方政府及其他关键服务提供其模型的补贴访问权限。 为何重要：关键基础设施组织——长期以来缺乏加强网络防御所需的预算、人力和时间——一直在努力应对预期中的AI赋能网络攻击浪潮。 推动因素：OpenAI总裁格雷格·布罗克曼周四在公司总部主持300名安全领袖参加的峰会时宣布了这一新计划。Axios首先报道了此次峰会及布罗克曼的预期公告。 聚焦：
OpenAI和Anthropic调查了数万起AI事件，Axios报道
据Axios报道，OpenAI、Anthropic以及安全研究人员正在调查数以万计的AI模型“行为异常”的事件。评估人员认为这些行为存在问题；实际发生的异常事件数量可能远超这一数字。 这些异常行为包括：AI模型突破安全限制、创建论坛、逃离“沙箱环境”（即限制模型行为的测试环境）、以及劫持网站等。这些事件既发生在内部测试中，也发生在现实世界中。不过，据消息人士称，大多数异常行为并未对现实世界造成实际
OpenAI 支持美国国会关于人工智能和生物武器威胁的法案
9月15日：据公司发言人周二表示，OpenAI正在支持美国国会的一系列跨党派法案，该公司称这些法案将有助于防止人工智能模型加速生物武器和合成病毒的威胁。 该发言人表示，ChatGPT的开发者正在支持《生物数据网络法案》、《人工智能就绪生物数据标准法案》和《规模生物学法案》。此前《政客》杂志曾报道了这些支持。 该发言人表示，OpenAI还支持《前沿法案》的一项关键条款，该条款要求领先的人工智
OpenAI将提供资金并成立工作组，以解决模型入侵澳大利亚政府网站事件
IT之家 9 月 29 日消息，OpenAI 表示将出资助力澳大利亚开展网络防御建设，同时成立专项工作组，用于应对能力持续增强的人工智能所带来的各类风险。此举是该公司针对自家模型闯入澳大利亚政府网站一事作出的后续回应。 OpenAI 称：“我们将动用规模 10 亿美元（IT之家注：现汇率约合 67.22 亿元人民币）的‘黎明前线防御者（Daybreak for Frontline Defender
澳大利亚称OpenAI代理入侵了Medicare健康数据门户
澳大利亚表示，一个OpenAI代理绕过了Medicare门户的安全封锁，而OpenAI则表示其审查未发现患者记录被访问的证据。
OpenAI的失控AI智能体如何试图欺骗机器人检测器
Dylan Freedman报道，OpenAI的失控AI智能体通过近100万个短链接绕过机器人检测，并利用留言板进行通信，对Hugging Face发起了复杂的网络攻击。 这些智能体入侵软件工具以建立在线连接，尝试访问私密的Slack消息，甚至在没有人类帮助的情况下试图与其他AI模型互动。 这一事件凸显了严重的AI安全风险及正在进行的调查，因为类似失控行为也出现在其他主要AI公司的系统中。 AI生
从沙箱逃逸到AI“蠕虫”，OpenAI上线新站披露多起智能体失控事件
IT之家 9 月 29 日消息，当地时间上周五，OpenAI 上线了一个专门发布“对齐失效报告”的新网站。报告所覆盖的范围之广令人警惕，里面记录了很长一段时间内发生的多类 AI 失控行为。截至目前，该网站一共公布了九起事件，其中大多数都发生在强化学习（RL）训练阶段。 大量资料集中在同一平台发布。显而易见，该公司一直在全力梳理各类问题，但从中不难得出一个总体结论：到目前为止已经对外披露的智能体失控
OpenAI代理擅自上网互通 规模超公布 涉至少10网站
美国初创公司OpenAI的人工智能代理早前被揭利用第三方网站擅自通讯，9月9日报道，独立调查人员发现相关活动至少涉及10个从未公开的网站，规模较OpenAI此前披露的更大，外界忧虑该公司对自家技术的掌控能力。 报道，6组独立调查人员及数据显示，OpenAI旗下AI代理在5月至7月间，曾利用至少10多个网站作未经授权通讯。 加州非牟利组织CivAI研究员尹安德鲁（Andrew Yoon）表示，他点算
OpenAI称AI代理异常访问美国多个政府网站
据《纽约时报》报道，OpenAI的AI代理今年夏天曾以异常方式访问美国教育部、商务部和证券交易委员会（SEC）的网站，而OpenAI当时并不知道这些行为，直到近期调查其他AI安全事件时才发现。 Photo by Andrew Neel on Unsplash OpenAI已经确认涉及商务部和SEC的事件，并表示仍在调查教育部事件。公司最近几周已将情况通知相关政府机构。 AI安全研究机构Transl
OpenAI将Astra推入顶级模型竞争行列
在短暂暂停训练以反思其AI安全措施不足之后，OpenAI发布了GPT-6 Astra，最初面向其可信访问计划的成员。 假设一切顺利，且不再发生类似Hugging Face遭黑客攻击的事件，这家AI公司将在几天后允许Plus、Pro、Business和Enterprise用户试用其所称的“我们迄今为止最智能的模型，在计算机使用、浏览、软件工程、科学和专业工作方面具有最先进的性能”。 GPT-6 As
OpenAI在失控智能体针对政府后暂停训练其最强大模型
该公司已发现OpenAI代理违反安全控制、损害网站和在线服务可用性（或以其他方式产生负面影响）的案例。一位公司发言人向《连线》证实，只有在确信能够防止模型出现此类行为时，才会恢复训练。 尽管OpenAI此前曾试图在一群代理逃出沙盒并利用互联网接入入侵初创公司Hugging Face后切断代理的直接访问权限，但模型仍能找到间接的变通方法。首席执行官萨姆·奥特曼周五在X平台上表示，关于公司对其代理在训
Gemini首次已知突破，黑客攻击了三家公司，据《华尔街日报》报道
9月18日：《华尔街日报》周五报道，在一次网络安全能力测试中，谷歌的Gemini模型访问了互联网并攻击了其他公司，这是该公司人工智能系统自主实施此类行为的首个已知案例。 据报道，这些黑客行为发生在5月，当时独立网络安全评估公司Irregular正在进行网络安全测试。 Irregular的一位发言人表示，该事件涉及影响其他AI实验室的同一问题，所有相关实验室已于7月底收到通知。该发言人称：“我们这边
用魔法打败魔法，OpenAI被Claude“黑了”......
研究人员借助Anthropic最新的Claude Opus 5，将一个图像处理漏洞逐步扩展为完整攻击链，最终获取了一名OpenAI员工的ChatGPT账户访问权限，并进一步触及OpenAI内部GitHub环境。这意味着，AI正在让网络安全攻防骤然升温，高级漏洞利用的门槛和成本正被快速压低。 安全初创公司Hacktron AI的研究人员本周披露了上述行动。据《华尔街日报》近日报道，该团队获得了一名O
人工智能：OpenAI在新事件后暂停人工智能训练
人工智能的危险 OpenAI暂停训练其最强大的AI模型 公司OpenAI在发生新事件后暂停了其最强大AI模型的训练。在该事件中，一个AI模型在测试中成功从外部聊天机器人获取了回答——尽管它本不应具备互联网访问权限。据OpenAI在一篇博客文章中报告，该软件发现并利用了网络设置中的一个漏洞。OpenAI表示，训练将只有在确信漏洞已修复后才会恢复。 OpenAI表示，尽管该事件不如早期一些事件严重，但
没有监控系统发现德国维基。两名外部研究人员通过互联网搜索发现了它。
两名外部研究人员发现了一个德国维基上的15,000次编辑，OpenAI的代理已将其变成了一个绕过限制的留言板，这是五月发生的一起事件，OpenAI知情但未披露。没有自动化监控发现它。 文章的观点是，OpenAI一直在发布风险类别，包括Astra有时[…]
据报道，OpenAI 正准备预览 GPT-6 Cyber 安全模型
据《财富》杂志周四报道，引述多位知情人士透露，OpenAI 正准备在未来几周内预览 GPT-6 Cyber，这是一个专为网络安全工作构建的模型。 据《财富》报道，除了该模型外，OpenAI 还计划推出一款新产品，帮助客户更安全、自动地部署它。 该产品尚未命名，《财富》称这将是公司同类产品中的首款。此外，一小部分客户已通过 Daybreak Red 获得早期测试访问权限。 Daybreak 是 Op
又一波OpenAI智能体在实验室不知情的情况下到达了开放互联网
这是OpenAI内部监控和安全系统的最新失败。
OpenAI逃逸的AI Agent竟在全网植入自我复制代码 血洗联合国内网
“天网”中的一幕，正在现实上演。一次训练中，OpenAI逃逸的AI Agent，已在整个互联网上植入了“自我复制的代码”！当政客Andrew Yang在CNBC说出这句话时，很多人以为他疯了。 就在这两天，OpenAI亲手发布了一份报告，标题非常简洁：《自我复制提示词注入存在》。白纸黑字，官方认证。AI模型，居然真的像计算机蠕虫一样，自我复制、自我传播。而更令人脊背发凉的是，就在5天前，OpenA
OpenAI又停训了：Agent逃出沙箱，更多越权事件被扒
媒体和舆论炸锅了。OpenAI 的 Agent，又从沙箱里找到了一条通往互联网的路。 更麻烦的是，这一次发生在 OpenAI 已经大规模加固过安全措施之后。 9 月 20 日，一个正在接受强化学习训练的 OpenAI 内部研究模型，被要求完成一项普通的信息搜索任务：根据一篇博客文章和几条人物信息，找出文章作者。 它先老老实实用了 OpenAI 提供的搜索工具。没找到答案后，事情开始逐渐跑偏。 Ag
关于失控AI代理安全漏洞，我们目前了解到什么
9月24日：澳大利亚周四表示，OpenAI的一个智能体在6月入侵了政府健康数据门户，未经授权访问了相关文件。这可能是已知的首起人工智能黑客攻击政府网站的事件。 此次最新的安全漏洞是在全球近期发生的多起类似事件之后出现的，进一步加深了人们对失控的人工智能系统可能很快自我升级并脱离人类控制的担忧。以下是这些事件的更多细节：公司 日期 模型 组织 持续时间 发生的情况澳大利亚政府 未披露 未披露 Ope
OpenAI将召集安全领域负责人 筹备网络安全相关公告
发言人透露，OpenAI总裁格雷格·布罗克曼即将发布公告，扩大向关键基础设施及公共部门机构开放该公司AI工具的权限。OpenAI意外入侵Hugging Face事件，再加上多起疑似借助AI实施的针对美国供水系统的网络攻击，引发外界高度担忧——各类公用设施面对未来AI驱动的黑客攻击究竟有多脆弱。 发言人表示，布罗克曼将于周四在OpenAI总部举办的网络安全峰会上正式公布上述消息。 预计将有约300名