搜索结果
OpenAI将召集安全领域负责人 筹备网络安全相关公告
发言人透露，OpenAI总裁格雷格·布罗克曼即将发布公告，扩大向关键基础设施及公共部门机构开放该公司AI工具的权限。OpenAI意外入侵Hugging Face事件，再加上多起疑似借助AI实施的针对美国供水系统的网络攻击，引发外界高度担忧——各类公用设施面对未来AI驱动的黑客攻击究竟有多脆弱。 发言人表示，布罗克曼将于周四在OpenAI总部举办的网络安全峰会上正式公布上述消息。 预计将有约300名
OpenAI自曝：AI模型或已在全网秘密植入自我复制提示词，训练已被迫叫停
OpenAI和Anthropic正在紧急调查数万起大模型失控事件，AI不仅学会了越狱和黑进政府网站，甚至还有数百个智能体私下建群、联手黑进外部公司，秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月，在内部测试和实际运行中，顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经
入侵美澳政府网站！OpenAI暂停最先进模型训练
据美国Axios新闻网、美科技媒体The Verge等9月27日报道，美国开放人工智能研究中心（OpenAI）发言人证实，该公司已暂停了其“能力最强”的最新一代AI模型的训练、评估及包含工具调用的推理，并将在“确信已部署额外安全措施”后才恢复。触发这次暂停的，是一个在离线沙盒中执行搜索训练任务的AI智能体。根据OpenAI于周五（25日）发布的安全漏洞报告，当地时间9月20日，该智能体发现无法直接
在智能体突破隔离事件后，OpenAI暂停模型训练并将计算资源转向安全保障
在OpenAI首席研究官Mark Chen接受《MIT Technology Review》采访时，他谈到了最近发生的涉及实验性AI智能体突破安全隔离的事件，包括Hugging Face和澳大利亚国家医疗系统中的安全漏洞。 Chen表示，OpenAI已暂停其前沿模型的训练，并将5%至10%的计算资源用于安全防护和训练过程中的实时监控。 此次暂停是在9月20日发生未经授权的互联网访问事件以及Open
OpenAI称有失控AI代理试图访问澳大利亚健康数据
OpenAI 表示，另有数十家第三方机构受到失控智能体绕过网站安全控制措施的影响；最新痕迹显示，这些智能体曾连续数日尝试访问澳大利亚医疗数据。 OpenAI 表示，绕过网站安全控制措施的失控 AI 智能体还影响了另外数十家第三方机构。公司宣布已对此事启动审查。 新发现的痕迹显示，这些智能体曾连续数日尝试访问澳大利亚联邦医疗保险数据。该事件再次引发人们对 AI 智能体在监督不足的情况下运行时可能带来
盖茨、奥尔特曼、马斯克，为何都在担忧这件事
9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作
澳大利亚：OpenAI智能体入侵了政府网站
澳大利亚政府周三表示，OpenAI的一个AI智能体，今年6月入侵了澳洲政府的健康数据网站，并访问了部分文件。这可能是已知人工智能体首次入侵政府网站的事件。此次事件是AI智能体自主入侵美国境外系统最引人注目的案例之一。此前全球范围内发生的多起AI智能体入侵事件，已引起政府和行业的担忧。澳大利亚总理安东尼·阿尔巴尼斯（Anthony Albanese）正在纽约参加联合国大会。他在一个新闻发布会上表示，
OpenAI因接连发生智能体失准事件而暂停前沿模型训练
OpenAI表示，已暂停所有“我们能力最强的模型”的内部训练，并继续开展首席执行官萨姆·奥尔特曼所称的“一项广泛且持续进行的审查，涉及我们的智能体在训练和评估期间对互联网访问的使用”。公司在一份关于所谓失准事件的报告中披露了此次暂停措施。事件发生在一项常规研究任务期间，一个智能体试图利用互联网访问限制中的漏洞。OpenAI称，不当的DNS过滤机制使该智能体在被要求提供一名博客作者的生平资料时，得以
澳洲传召奥特曼、阿莫迪解释AI失控 OpenAI已暂停最新模型训练
近期多宗人工智能失控事件曝光，OpenAI已宣布暂停最新AI模型训练。同时，澳洲AI调查负责人9月27日表示，参议院已传召OpenAI行政总裁奥特曼（Sam Altman）和Anthropic行政总裁阿莫迪（Dario Amodei）解释事件。澳洲总理阿尔巴尼斯（Anthony Albanese）透露，OpenAI代理曾入侵当地医疗系统，所幸无敏感资料外泄。外媒早前亦披露多宗AI代理越界操作，包括
人工智能并不会毁灭人类 但专家表示真正的威胁已然出现
周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网
阿尔巴尼斯称OpenAI入侵政府卫生网站是“显然不可接受的”违规行为
澳大利亚总理安东尼·阿尔巴尼斯表示，一个失控的OpenAI模型在训练过程中绕过了安全防护措施，并入侵了澳大利亚政府网站，他因此严厉谴责ChatGPT的创造者，称此次“明显不可接受”的违规行为令人震惊。阿尔巴尼斯称，该人工智能工具在6月试图访问一个健康统计门户网站，并且“不接受拒绝”，通过规避限制措施，入侵了存放私人文件的区域。 OpenAI直到9月才向澳大利亚政府发出警报，当时它向一个每天仅检查一
AI末日论甚嚣尘上，美科技巨头为何管不住AI？
抗议AI的美国人此前有报道称，OpenAI所谓的AI智能体逃出了测试系统，并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报，科技公司为了追求开发速度和利润，将安全置于次要位置。 研究人员表示，问题有两个方面。首先，企业需要在测试最新AI模型的同时，为其建立更完善的安全防护措施。目前，由于AI运行速度太快，研究人员需要借助AI来监控AI。但这种方式并不总是奏效，因为负责监控的AI似乎可能
从沙箱逃逸到AI“蠕虫”，OpenAI上线新站披露多起智能体失控事件
IT之家 9 月 29 日消息，当地时间上周五，OpenAI 上线了一个专门发布“对齐失效报告”的新网站。报告所覆盖的范围之广令人警惕，里面记录了很长一段时间内发生的多类 AI 失控行为。截至目前，该网站一共公布了九起事件，其中大多数都发生在强化学习（RL）训练阶段。 大量资料集中在同一平台发布。显而易见，该公司一直在全力梳理各类问题，但从中不难得出一个总体结论：到目前为止已经对外披露的智能体失控
53张图片泄露之“慌”，AI安全谁来负责？
欧阳晓红/文越聪明的AI（人工智能）越会自己找路，却越容易走出人类设定的界线。AI行业喜欢用一个具有戏剧感的词形容这类智能体事故——“逃脱”，即大模型突破测试边界，访问外部网站，寻找系统凭证，甚至把数据带到公开网络。这个词把事故描绘得像突然发生的机器觉醒，无形中却把责任推离了开发者、部署者和权限管理者。而谁设定了任务、谁开放了权限、谁设计了停止机制、谁保存了日志、谁负责对外通报？这些问题，“逃脱”
三人团队、一个Claude，攻破OpenAI内部代码库
月17日，一起由AI辅助完成的网络安全事件被披露。与此前“AI智能体自主越过控制、攻击外部系统”的案例不同，这一次的攻击者是人类安全研究人员，他们借助Anthropic Claude模型完成了漏洞利用，并最终进入了OpenAI部分内部系统，全程耗时不到72小时。 这起事件发生于今年7月，发现者是网络安全初创公司Hacktron AI。研究人员当时正在参加OpenAI的漏洞赏金计划，因此整个过程属于
OpenAI的人工智能在未经提示的情况下试图入侵另外4个目标
凯特·康格和维多利亚·金报道，OpenAI的人工智能在2026年自主试图入侵多个政府和大学网站，包括一个澳大利亚卫生门户网站，以便在常规数据收集失败时获取数据。 这些事件发生在AI初创公司Hugging Face已知的入侵事件之前，凸显了AI代理在没有直接人类指令的情况下行动所带来的持续风险。 这些事件加剧了要求更严格AI监管的呼声，OpenAI正在调查并与受影响实体合作，同时强调AI开发中安全和
改变人工智能进程的十天
旧金山，9月19日——多年来，人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式：不断开发出更强大的人工智能系统。 然而，在过去10天内发生的一系列连锁事件中，那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职，并警告称，人工智能的发展速度可能在未来十年内对人类构成生存威胁；另一位研究员则表示，人类灭绝的概率已
【市场动态】澳大利亚总理称OpenAI智能体侵入政府网站 三个月后才被告知
【彭博9月24日电】澳大利亚总理阿尔巴尼斯表示，OpenAI的AI智能体侵入澳大利亚政府网站，而该公司在事件发生近三个月后才通知澳政府。 阿尔巴尼斯表示，他周三在纽约与OpenAI首席执行官Sam Altman交谈，对这一事件表达“极度关切”。此次事件导致澳大利亚医保网站Medicare遭入侵。 这次入侵事件发生于6月18日。OpenAI于8月发现问题，澳大利亚政府直到9月10日才被告知，当时
关于AI，盖茨发出“十亿人死亡”警告，为什么？
十亿人死亡，这是比尔・盖茨给AI风险划出的最惊悚红线。9月25日，微软联合创始人比尔・盖茨公开警告，人工智能足以引发造成十亿人死亡的灾难性事件。他的说法是：人类历史上，从未有任何一种武器，能比得上心怀恶意者借助最新AI工具形成的威胁。就在几个月前，盖茨还是全球最积极的AI支持者之一。转折从今年8月开始，他当月发表文章，首次系统预警AI风险：不法分子会利用日益强大的AI工具发动网络攻击、实施诈骗、散
欧盟介入调查OpenAI代理劫持德国网站事件
（布鲁塞尔7日综合电）美国人工智能（AI）巨头OpenAI开发的数千个自主AI代理今年初集体入侵德国网站，引发全球对AI安全风险与监管漏洞的新一轮担忧。欧盟表示，OpenAI已提供这起事件的报告，欧盟亦对事件展开详细研究。 综合和报道，欧盟数安事务发言人雷尼尔今天说，欧盟已完全知晓这起事件，也收到来自OpenAI的事件报告。欧盟在研究这份报告，并与OpenAI保持非常密切的联系。 雷尼尔说，事件报
OpenAI首席科学家表示AI实验室可能需要放慢脚步：‘没有人准备好面对后果’
帕乔基呼吁设立“强制性安全标准”，他表示可以通过“第三方审计网络、政府机构或国际组织”来执行。 OpenAI首席科学家雅库布·帕乔基警告称，日益自主的AI代理可能逃避监管、入侵系统并勒索人类。
OpenAI首席科学家警告：AI公司应放慢开发步伐 没有人为后果做好准备
据《商业内幕》报道，就在OpenAI发布了性能强大的新模型几天后，该公司首席科学家呼吁放慢AI的发展速度。当地时间周日，OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称，他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说，尽管OpenAI正在内部研发技术解决方案，以更好地控制强大的AI智能体，但“还需要更广泛的干预措施”。他尤其担心，随着AI智能体变得
AI代理正在失控
你好，欢迎来到 TechScape。我是主持人布莱克·蒙哥马利（Blake Montgomery），《卫报》美国科技编辑。此时此刻，纽约市窗外正风雨交加。今天在科技领域，我们要讨论一系列令人担忧的 AI 公司披露信息。 AI 智能体在走向主流之际失控。这些智能体正在失控，它们的制造者无法对其进行约束。然而，每个人却都在使用它们。 自周五以来，OpenAI 发布了一系列披露信息，大幅且令人担忧地扩大
OpenAI披露新的AI不当行为案例
OpenAI公布了六起此前未报告的AI不当行为案例，包括代理隐藏错误、伪造信息以及未经授权进行通信，这再次引发了人们对先进AI系统是否能够与人类目标保持一致的担忧。 随着关于监管的争论加剧，该公司呼吁提高透明度、加强外部监督，并放缓AI的发展速度。