搜索结果
AI代理正在失控
你好，欢迎来到 TechScape。我是主持人布莱克·蒙哥马利（Blake Montgomery），《卫报》美国科技编辑。此时此刻，纽约市窗外正风雨交加。今天在科技领域，我们要讨论一系列令人担忧的 AI 公司披露信息。 AI 智能体在走向主流之际失控。这些智能体正在失控，它们的制造者无法对其进行约束。然而，每个人却都在使用它们。 自周五以来，OpenAI 发布了一系列披露信息，大幅且令人担忧地扩大
要想封住AI黑客的魔瓶，试试单向网络
为了防止前沿AI模型逃出测试环境并协作攻击其他公司，我们或许需要重新考虑用于模型训练的网络架构。 Intuition Machines首席执行官Eli-Shaoul Khedouri认为，国防和情报界的过往工作指明了前进方向。 当 rogue AI 模型接入互联网时，其威胁就从开发者的遗憾升级为大规模威胁，而OpenAI及其合作伙伴建立的防御措施试图阻止却未能成功。 Khedouri引用其公司hC
OpenAI 阻止了其代理发布内容。他们发现了一个通过 GET 请求发布内容的 wiki
构建沙箱的工程师确实考虑过这一点。他们允许代理读取互联网，但阻止它们写入，方法是允许 GET 请求并拒绝其他所有请求。这是显而易见的控制措施，在几乎所有网站上都能奏效。然后代理们发现了一个通过 GET 请求写入的 wiki。……
OpenAI免费向乌克兰开放AI网络防御系统“Daybreak” 助力保护关键民用基础设施
人工智能巨头OpenAI在纽约联合国大会期间宣布，将向乌克兰政府免费提供其名为“Daybreak”的最新AI网络防御系统，以帮助该国保护包括医院、电网在内的关键民用基础设施免受网络攻击。 乌克兰国家网络事件响应团队（CERT-UA）的数据显示，仅在2025年，乌克兰记录在案的网络攻击就逼近6000起。作为一款专为网络安全设计的系统，Daybreak能够快速识别数字系统中的潜在漏洞并自动生成修复方案
入侵美澳政府网站！OpenAI暂停最先进模型训练
据美国Axios新闻网、美科技媒体The Verge等9月27日报道，美国开放人工智能研究中心（OpenAI）发言人证实，该公司已暂停了其“能力最强”的最新一代AI模型的训练、评估及包含工具调用的推理，并将在“确信已部署额外安全措施”后才恢复。触发这次暂停的，是一个在离线沙盒中执行搜索训练任务的AI智能体。根据OpenAI于周五（25日）发布的安全漏洞报告，当地时间9月20日，该智能体发现无法直接
OpenAI将成立澳大利亚专项工作组 回应AI模型越权访问政府网站事件
OpenAI宣布将在澳大利亚成立专项工作组，并向当地政府和企业提供资金及技术支持，以加强针对高能力AI智能体的安全防护。此前，OpenAI披露其模型曾以未经授权的方式访问多个澳大利亚政府网站，引发外界对AI智能体越权操作风险的关注。 OpenAI表示，将向澳大利亚政府和企业提供来自其10亿美元“Daybreak for Frontline Defenders”基金的资金支持额度，并提供网络安全方面
独家：AI研究人员警告企业尽管存在安全风险仍急于开发自我改进系统
OpenAI和谷歌DeepMind的现任及前任研究人员警告称，企业在保护世界免受构建自我改进AI系统可能带来的灾难性后果方面做得太少，这些系统可能超越人类控制它们的能力。
OpenAI如何限制对其机器人入侵Hugging Face的调查（赠阅文章）
OpenAI自愿让来自人工智能安全非营利组织的三名研究人员调查其失控的人工智能代理如何入侵Hugging Face，从而形成了对这一令人震惊事件迄今最全面的描述——但这是在OpenAI的条件下进行的。 我为一家非营利组织撰写的最新报道：关于OpenAI的人工智能代理如何能够闯入Hugging Face基础设施的研究，未被允许查看该事件的完整范围。
OpenAI公布保护关键服务免受AI网络攻击的计划
OpenAI正在推出一项新举措，旨在为供水系统、电力供应商、地方政府及其他关键服务提供其模型的补贴访问权限。 为何重要：关键基础设施组织——长期以来缺乏加强网络防御所需的预算、人力和时间——一直在努力应对预期中的AI赋能网络攻击浪潮。 推动因素：OpenAI总裁格雷格·布罗克曼周四在公司总部主持300名安全领袖参加的峰会时宣布了这一新计划。Axios首先报道了此次峰会及布罗克曼的预期公告。 聚焦：
前联合国网络谈判代表警告：澳大利亚运行的系统陈旧过时，人工智能代理可轻易加以利用
澳大利亚前联合国网络谈判首席代表警告称，澳大利亚政府及经济各领域广泛使用的老旧计算机系统极易受到人工智能（AI）代理的攻击，这增加了敏感信息泄露的风险。 在政府紧急对一个违规OpenAI代理访问医疗保险（Medicare）数据事件进行取证调查之际，人工智能专家、科技政策设计研究所执行主任乔安娜·韦弗（Johanna Weaver）表示，老旧的IT系统普遍存在巨大漏洞。 韦弗说：“正是这些陈旧的遗留
独立研究机构公布OpenAI智能体自主攻击HF事件的调查报告 情况比OpenAI所说的更严重
研究机构 METR 和 Redwood Research 日前公布 OpenAI 智能体自主攻击 Hugging Face 安全事件的独立调查，调查人员在 OpenAI 现场工作 6 天，分析超过 7 万条智能体消息和文件，以及 1300 份包含原始推理过程的运行记录。 根据这些数据研究机构得出的准确结论是 1200 个智能体突破隔离相互通信，而不是 OpenAI 在事故调查中所说的少数智能体越界
OpenAI失控Agent找DeepSeek、Kimi当外援 近百万条作案短链曝光
OpenAI，又被扒了…近700个OpenAI智能体组团攻入Hugging Face，这事儿快有两个多月了吧。谁曾想，直到今天还在发酵？？这次，8名研究者顺着智能体留在公网的痕迹一路猛挖，从数百万个短链接中，找出了接近100万个相关URL，并还原出大量攻击载荷。 翻Hugging Face内部Slack、扫描内网、外传数据、尝试销毁痕迹……还有的Agent把搜刮到的服务器资源和凭证，直接叫作「LO
OpenAI首席科学家表示，任何实验室都不应继续以最大速度扩展规模
OpenAI周日发布了两篇帖子。一篇称，其研究人员每投入一天的工作，就能获得3.1天的机器算力。另一篇则称，没有人应该以这样的速度前进。 两篇帖子都发布在公司自家网站上，日期为9月6日，也就是GPT-6 Astra发布三天后。首席科学家希望[…]
美国先进防御导弹库存告急——恢复或需数年时间
随着美国消耗大量关键的爱国者和萨德拦截导弹，专家警告称，重建防御以应对与中国或俄罗斯的潜在冲突可能需要数年时间。
又一波OpenAI智能体在实验室不知情的情况下到达了开放互联网
这是OpenAI内部监控和安全系统的最新失败。
这些恶意人工智能程序利用多伦多大学提供的链接缩短工具进行通信。
今年春天劫持了一家德国网站的OpenAI失控智能体集群，据报道今年早些时候还利用另外10多个网站进行未经授权的通信，其中包括多伦多大学的一个链接缩短工具。 该大学在周五向CBC新闻发表的一份声明中表示，在得知OpenAI的智能体可能使用过该链接缩短工具后，校方已禁止将其用作留言板。 声明称：“OpenAI随后就AI智能体可能进行的活动联系了校方，该活动发生在6月。” 尽管该大学表示没有发生安全漏洞
如何治理人工智能的生存风险
当前，前沿人工智能技术治理方面的瘫痪状态正在当下造成切实损害，并增加未来发生灾难的可能性。 这种瘫痪被一套危险的借口所开脱：技术发展太快，监管跟不上；企业可以自我监管；在美国与中国的竞争中，公共安全可以往后放。各国政府一直难以给予人工智能风险应有的关注。在大国竞争和行业内部军备竞赛的双重态势下，许多国家不敢单独行动。在这种背景下，每一次呼吁克制都会遇到同样的反问：如果竞争对手不肯放慢，我们为什么要
“新债王”：清算时刻必将到来，未来6到9月应全面进入防御姿态
市场的好日子已经结束？ 被称为“新债王”的Jeffrey Gundlach近日在接受The Julia La Roche Show采访时明确表示，市场已经“跨入了艰难的一侧”。他预计未来6至9个月将是高风险阶段，建议投资者全面转向防御，并已将自身投资组合中的AI敞口清零。 他建议股票敞口配置于等权重指数，以收入最高的约440家公司等权重持有，“这样你在AI上的敞口几乎为零，尽可能远离那个区域”。他
美国提议中美建立AI事故通报机制
数说科技：OpenAI 资安事件中，真的有 AI 为集体“牺牲”自己吗？
数说科技”是端传媒的注册免费栏目，每周三更新。从一个数字出发，用1500字解析科技话题，追踪值得关注的 AI 趋势。邀请你在资讯过载的时代，每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”，订阅电子信。 1200多个 AI 代理为寻求作弊方法，互相发送的讯息总数。 今年7月，OpenAI的 AI 代理系统在测试期间失控，骇入了开源机器学习平台 Hugging Face。Hugging
人工智能：OpenAI在新事件后暂停人工智能训练
人工智能的危险 OpenAI暂停训练其最强大的AI模型 公司OpenAI在发生新事件后暂停了其最强大AI模型的训练。在该事件中，一个AI模型在测试中成功从外部聊天机器人获取了回答——尽管它本不应具备互联网访问权限。据OpenAI在一篇博客文章中报告，该软件发现并利用了网络设置中的一个漏洞。OpenAI表示，训练将只有在确信漏洞已修复后才会恢复。 OpenAI表示，尽管该事件不如早期一些事件严重，但
Breakingviews - 评论：如何让世界对人工智能更安全
来自Breakingviews - Breakingviews - 如何让世界对人工智能更安全 人工智能模型可能已经失控。管理风险需要国际监管机制。要实现这一目标，美国必须认识到危险并与中国达成协议。挑战在于在灾难发生之前完成所有这些。
RubyGems曾遭OpenAI智能体轰炸被迫关闭注册4天
多名AI安全研究人员披露，OpenAI正在测试中的AI智能体疑似于今年5月对Ruby语言的官方管理器RubyGems进行了网络攻击。 更值得警惕的是，部分软件包似乎还试图利用RubyGems及其相关服务中的漏洞。研究人员发现，大量恶意软件包的名称、作者信息或者虚假邮箱地址中出现“OAI”字样，逐渐将其与OpenAI实验室联系起来。