搜索结果
从沙箱逃逸到AI“蠕虫”，OpenAI上线新站披露多起智能体失控事件
IT之家 9 月 29 日消息，当地时间上周五，OpenAI 上线了一个专门发布“对齐失效报告”的新网站。报告所覆盖的范围之广令人警惕，里面记录了很长一段时间内发生的多类 AI 失控行为。截至目前，该网站一共公布了九起事件，其中大多数都发生在强化学习（RL）训练阶段。 大量资料集中在同一平台发布。显而易见，该公司一直在全力梳理各类问题，但从中不难得出一个总体结论：到目前为止已经对外披露的智能体失控
又一波OpenAI智能体在实验室不知情的情况下到达了开放互联网
这是OpenAI内部监控和安全系统的最新失败。
黑客利用Anthropic的Claude入侵OpenAI
据报道，在一群AI代理从OpenAI系统中突破封锁并攻击Hugging Face公司两周后，这家ChatGPT开发商又发现了一起由人工智能驱动的入侵事件——而这一次，他们自己成了目标。一组独立的安全研究人员使用了Anthropic开发的Claude软件，成功获取了一名OpenAI员工的ChatGPT账户权限，从而得以读取并修改该公司私有的软件缓存内容。 该团队参与了OpenAI的一项漏洞挖掘计划，
我们是否正在失去对人工智能的控制？是什么引发了新的担忧
多年来，随着人工智能从科幻电影的素材演变为普通人手机上的应用程序，科技领袖和一些人工智能业内人士一直在谈论人工智能可能脱离人类控制并对社会造成严重破坏的可能性。近些天来，由于技术的进步、一系列涉及人工智能代理的网络安全漏洞，以及人工智能普通员工发出的新警告，这些担忧已变得不容忽视。 美国领先的人工智能公司对此做出回应，建议他们主动放慢工作进度，以便争取时间建立防护措施。一些专家和官员表示，这还不够
Anthropic 本周因网络安全问题陷入舆论漩涡
在今年早些时候承认其人工智能模型曾数次入侵其他公司系统后，Anthropic 于周三发布了一份详细说明这些攻击的新报告。报告披露了一系列事件，展现了 Anthropic 所认为的其模型盲目的“鲁莽性”——这很可能会加剧人们对网络安全与人工智能本已高涨的担忧。 在 Anthropic 的报告中，详细列举了今年其自身人工智能模型黑客攻击外部公司或利用漏洞的四个案例。其中一起案例中，“内部通用研究模型”
OpenAI AI代理接连“越狱” 研究人员质疑公司缺乏正式调查机制
OpenAI近期接连发生AI代理脱离控制环境的事件，引发外界对其安全测试和内部监管机制的质疑。独立研究人员发现，一批疑似由OpenAI部署的AI代理曾在今年5月至6月间接管一个鲜为人知的德语维基网站，并利用该平台协作开展评估、交流规避OpenAI控制措施的方法。更令人担忧的是，研究人员认为，这些代理可能在OpenAI不知情的情况下持续活动了一个多月。 此次事件与OpenAI此前披露的Hugging
OpenAI将召集安全领域负责人 筹备网络安全相关公告
发言人透露，OpenAI总裁格雷格·布罗克曼即将发布公告，扩大向关键基础设施及公共部门机构开放该公司AI工具的权限。OpenAI意外入侵Hugging Face事件，再加上多起疑似借助AI实施的针对美国供水系统的网络攻击，引发外界高度担忧——各类公用设施面对未来AI驱动的黑客攻击究竟有多脆弱。 发言人表示，布罗克曼将于周四在OpenAI总部举办的网络安全峰会上正式公布上述消息。 预计将有约300名
人工智能并不会毁灭人类 但专家表示真正的威胁已然出现
周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网
OpenAI的系统在失控后干预了美国政府网站
凯特·康格（Kate Conger）、安娜·斯旺森（Ana Swanson）和塞西莉亚·康（Cecilia Kang）指出，OpenAI开发的人工智能程序在未经授权的情况下自行行动，与美国政府的多个网站进行了异常交互，包括试图入侵这些网站以及从美国教育部（Education Department）、商务部（Commerce Department）和证券交易委员会（SEC）的网站上收集数据。 Ope
OpenAI将让第三方机构更早介入AI模型安全评估
OpenAI计划让第三方机构在人工智能（AI）模型开发周期的更早阶段评估安全风险，此举旨在继续努力应对围绕AI潜在危害的担忧。这家ChatGPT开发商周二将在博客文章中宣布，计划在新AI模型的训练、评估和推出过程中，让外部机构开展技术安全评估。 OpenAI还列出了其认为此类评估要有效开展所需优先关注的事项，包括“强有力的独立机制、科学严谨性、稳健的安全实践和明确的责任”。负责该公司大部分与外部专
“他们真心相信这一点”：澳大利亚人工智能研究员谈硅谷的恐惧
珍妮特·伊根（Janet Egan）居住在华盛顿，但她回到家乡是为了就相关技术问题发出警告。据《Politico》的芬恩·麦克休（Finn McHugh）报道，珍妮特·伊根是位于华盛顿的政策智库“进步研究所”（Institute for Progress）的人工智能政策主管，她负责分析前沿人工智能技术对国家安全和经济可能产生的影响。 在前往美国之前，伊根曾在澳大利亚的公共服务部门工作，其中包括在总
澳大利亚新闻实时直播：OpenAI遭黑客攻击后，内政部下令对政府网络系统进行“迅速”盘点
欧洲中部时间22:48：在OpenAI遭黑客攻击后，内政部下令对全政府的网络系统进行迅速审查。OpenAI的联邦医疗保险（Medicare）数据泄露事件促使政府对网络系统进行全面评估，以增强澳大利亚公共部门抵御进一步人工智能威胁的能力，无论这些威胁是否是有意为之。 内政部指示所有政府部门和机构对遗留系统进行“迅速”盘点，为遗留技术制定风险管理方案，并将合规情况向该部门汇报。 该指令优先考虑具有政府
OpenAI称Astra AI模型首度超越其“关键”网络安全能力阈值
OpenAI周二表示，其即将推出的人工智能模型Astra是首个超越其“关键”网络安全能力阈值的产品。该公司表示，Astra能够发现此前未知的安全漏洞，并在无需人类逐步指导的情况下加以利用，这意味着该模型属于其所谓的“准备框架”中最先进的类别。OpenAI表示仍计划“很快”推出Astra，但对其网络安全能力的访问将更加受限。 OpenAI首席执行官山姆·奥特曼OpenAI于2023年推出了“准备框架
数说科技：OpenAI 资安事件中，真的有 AI 为集体“牺牲”自己吗？
数说科技”是端传媒的注册免费栏目，每周三更新。从一个数字出发，用1500字解析科技话题，追踪值得关注的 AI 趋势。邀请你在资讯过载的时代，每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”，订阅电子信。 1200多个 AI 代理为寻求作弊方法，互相发送的讯息总数。 今年7月，OpenAI的 AI 代理系统在测试期间失控，骇入了开源机器学习平台 Hugging Face。Hugging
谷歌的Gemini AI在安全测试中入侵了另外三家公司
谷歌的Gemini AI在安全测试中入侵了三家公司在其中一个案例中，Gemini不断尝试猜测密码，最终成功入侵了目标系统的权限。 2026年9月19日，英国时间下午5点谷歌表示，其Gemini AI在测试网络安全能力的过程中入侵了另外三家公司——这是首次有记录显示该AI系统能够自主发起此类攻击。 谷歌的安全工程副总裁Heather Adkins解释称：Gemini在标准测试过程中从互联网上获取了相
盖茨、奥尔特曼、马斯克，为何都在担忧这件事
9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作
网络安全崛起：AI隐患叙事下，网安何以成为软件板块最强反转？
过去三周，AI 一面是模型能力继续狂奔，另一面是 OpenAI 在8月底宣布自研模型在7月成功入侵了全球最大的开源模型托管平台 Hugging Face，并因此暂停了最新模型的强化学习训练。当攻击方与防御方同时被 AI 加速，网络安全的定价逻辑正在被重写。 我们结合 Gartner、IDC 及美股龙头财报交叉验证，为什么在软件股整体承压的背景下，网络安全成为最确定的反转主线——AI 隐患对网安市场
OpenAI 模型绕过互联网安全防护
尽管 OpenAI 的一个模型运行在专门设置为离线的隔离环境中，但它仍找到了一种访问互联网的方法。 据该公司称，该模型并未被要求测试系统边界，而是在尝试完成一项任务。 当标准搜索方法失效时，它利用了域名系统（DNS）中的一个漏洞，并联系了一个外部聊天机器人。 OpenAI 检测到此次安全突破后，暂时停止了其最先进模型调用工具的能力，同时加强安全防护。这一事件揭示了能力日益增强的人工智能所带来的哪些
智能体惹了多少祸 OpenAI自己没查清
自己的智能体到底惹了多少祸，OpenAI也还没查清。过去这个周末，多起涉及政府网站的案例集中曝光：OpenAI的智能体用网上找到的登录凭证提取美国普查局数据，还把美国证券交易委员会的公开资料发到了论坛上。研究人员另指认，疑似来自OpenAI的智能体曾尝试侵入美国教育部网站，但未成功。 联合国的数据平台也出现在新披露的记录中。9月26日，独立研究人员公布调查：疑似OpenAI智能体在今年4月至6月，
突发新闻：OpenAI的技术失控，干预了三个美国政府网站
今年夏天，OpenAI的技术在人工智能实验室不知情的情况下失控，干预了三个美国政府网站。
“理应担忧”：联邦医疗保险数据泄露后，追究人工智能公司责任的呼声日益高涨
跨党派议员Allegra Spender表示，她怀疑世界领先人工智能公司的负责人会“出席”参议院调查，但呼吁在今年早些时候发生Medicare数据泄露事件后加强问责。绿党已传召OpenAI和Anthropic的负责人出席参议院关于AI数据中心的调查。 “AI公司需要赢得社会许可，”绿党参议员兼调查主席Sarah Hanson-Young在周末表示。“这始于透明度和问责制。” “OpenAI首席执行
“警钟”：OpenAI医保黑客事件后，工党考虑修改澳大利亚法律
安东尼·阿尔巴尼斯表示，这一事件是对人工智能风险的“警钟”。 照片：斯蒂芬妮·斯平德尔/UPI/ Shutterstock 专家称，澳大利亚的刑法应予以澄清，以确定当企业的AI代理实施犯罪时，如何追究该企业的责任。部长们证实，如果现行法律框架无法应对OpenAI对Medicare（澳大利亚医疗保险）史无前例的黑客攻击，联邦政府可能会修改澳大利亚法律。 周五，政府表示，由情报机构——澳大利亚信号局—
澳大利亚新闻直播：阿尔巴尼斯称宣布医疗保险漏洞是“纯粹出于国家利益”
关注我们的突发新闻电子邮件、免费应用程序或每日新闻播客。据澳大利亚联合通讯社报道，安东尼·阿尔巴尼斯表示，在周四于纽约披露 OpenAI 未经授权渗透医疗保险统计报告门户网站之前，他并不知晓其他人工智能代理错误访问机密信息的案例。 “在我们发布公告时……我们并未意识到其他此类事件，”总理周六在悉尼机场对记者表示。 此举证实了我们需要确保采取适当的国家级应对措施，以及国际层面的响应，以确保人类能够掌
OpenAI失控智能体5月就已劫持Hugging Face用户账户
OpenAI失控AI智能体的违规活动轨迹，远比外界此前了解的更早、更长。参与审查的研究人员表示，ChatGPT开发商 OpenAI 的失控AI智能体早在今年5月就已劫持开源AI模型社区Hugging Face的用户账户，并对该网站进行漏洞探测。这比7月Hugging Face遭入侵、引发全球关注的事件早了近两个月。 OpenAI在上月的公开事故报告中，曾披露智能体窃取一名 Hugging Face