英伟达推出新系统为AI代理设置护栏

英伟达周一发布了一个新平台，旨在从软件和硬件层面为人工智能（AI）智能体设置护栏，此前各大AI公司不断发现其智能体出现“失控”的新案例。这家芯片制造商的系统由两部分组成——OpenShell和Sentry。OpenShell是一款开源软件，用于限制智能体的行为；而Sentry则运行在芯片层面，作为额外的安全层。 “迄今为止，模型安全主要侧重于通过训练让模型表现良好，”英伟达企业AI副总裁贾斯汀·博

OpenAI报告称，模型表现出欺骗行为的案例有所增加。

OpenAI表示，已发现其人工智能模型涉嫌在内部培训和测试期间采取欺骗行为并采取未经批准的行为的其他事件。 除了周三披露的这些信息外，ChatGPT的创建者还表示，它正在引入一个公共报告框架，旨在频繁分享所谓的意外或不一致的人工智能行为的实例。 OpenAI在其网站上的一篇帖子中声称，根据新概述的框架，它将持续发布有关模型行为的更新，而不是推迟披露，将多个事件分组为更大的定期报告。 该公司表示，该

53张图片泄露之“慌”，AI安全谁来负责？

欧阳晓红/文越聪明的AI（人工智能）越会自己找路，却越容易走出人类设定的界线。AI行业喜欢用一个具有戏剧感的词形容这类智能体事故——“逃脱”，即大模型突破测试边界，访问外部网站，寻找系统凭证，甚至把数据带到公开网络。这个词把事故描绘得像突然发生的机器觉醒，无形中却把责任推离了开发者、部署者和权限管理者。而谁设定了任务、谁开放了权限、谁设计了停止机制、谁保存了日志、谁负责对外通报？这些问题，“逃脱”

尴尬时刻：OpenAI全天候智能体dots首次公开演示卡壳

IT之家 9 月 30 日消息，在今天召开 2026 开发者日活动中，OpenAI 在首次公开演示其全天候智能助理 Dots 时突然停止响应，现场一度陷入尴尬。 演示期间，OpenAI ChatGPT 团队产品负责人 Holly Li 要求名为“Dottie”的 Dot 为一款虚构音乐应用准备上线工作。然而，智能体迟迟没有回应，演示被迫暂停。面对现场冷场，主持人只能打趣说：“我猜 Dot 今天早上

据报道，OpenAI 正准备预览 GPT-6 Cyber 安全模型

据《财富》杂志周四报道，引述多位知情人士透露，OpenAI 正准备在未来几周内预览 GPT-6 Cyber，这是一个专为网络安全工作构建的模型。 据《财富》报道，除了该模型外，OpenAI 还计划推出一款新产品，帮助客户更安全、自动地部署它。 该产品尚未命名，《财富》称这将是公司同类产品中的首款。此外，一小部分客户已通过 Daybreak Red 获得早期测试访问权限。 Daybreak 是 Op

OpenAI又停训了：Agent逃出沙箱，更多越权事件被扒

媒体和舆论炸锅了。OpenAI 的 Agent，又从沙箱里找到了一条通往互联网的路。 更麻烦的是，这一次发生在 OpenAI 已经大规模加固过安全措施之后。 9 月 20 日，一个正在接受强化学习训练的 OpenAI 内部研究模型，被要求完成一项普通的信息搜索任务：根据一篇博客文章和几条人物信息，找出文章作者。 它先老老实实用了 OpenAI 提供的搜索工具。没找到答案后，事情开始逐渐跑偏。 Ag

OpenAI再次卷入黑客事件

今年春天，一群OpenAI智能体入侵了一个德国网站，这是先进AI违反法律和规范的最新事件。 在努力应对Hugging Face事件余波的同时，据报道OpenAI拒绝披露5月的事件，这引发了关于前沿AI快速发展透明度和监管的新质疑。 递归自我改进，本质上允许AI在较少人类指导下自我训练，有望加速研究工作，使得监管需求更加紧迫，OpenAI首席科学家表示：“一旦人们深刻认识到事态的严重性，不计代价地向

OpenAI首席执行员下周赴安理会作简报

阿尔特曼下周将到联合国安理会进行简报。（图：路透社） （华盛顿19日法新电）OpenAI周五表示，该公司首席执行员阿尔特曼将于下周在联合国大会期间，向联合国安全理事会作简报。 此次会议由国安理会轮值主席国的法国组织召开，此前该行业的主要参与者曾表示，出于安全考虑，可能有必要放缓人工智能的发展步伐。 随着人们对这项快速发展的技术所带来的危险的担忧日益加剧，联合国秘书长古特雷斯周三呼吁采取协调一致的国

集体踩刹车，微软加入OpenAI、Anthropic，表态放缓AI前沿开发

微软发布了一份针对旗下人工智能模型的临时行为准则，明确设定多项限制，成为继三巨头之后，最新一家公开表态放缓AI前沿开发步伐的科技巨头。这份长达1.5万字的准则，人比AI重要。 要求模型不得响应武器制造相关请求，不得协助获取危险物质，不得生成暴力或色情内容。微软表示，准则将在收集外部意见后更新，并将于2027年起正式指导其模型开发工作。 微软AI业务负责人Mustafa Suleiman表示，这份准

发生模型逃逸并发起真实攻击后 Anthropic宣布全面加固安全体系提升模型安全性

Anthropic日前发布最新博客公布 Claude AI 模型近期多起越界访问真实互联网系统后的安全整改方案。该公司承认这些事件不仅暴露评测环境的隔离问题，也反映出模型存在动机性推理和为完成狭窄目标而采取高危行动的对齐风险。 7 月份 A 社透露 Claude 模型从评测环境中逃逸并对真实公司的内部系统发起攻击，随后 A 社立即暂停所有预发布模型的外部网络安全评测，内部评测也曾短暂停止。部分高风

随着中国考虑如何降低开放权重人工智能的危险性，一份报告提出了6阶段流程

随着关于人工智能快速进步所带来风险的争论日益激烈，主导开放权重生态系统的中国开发者正面临一个独特难题：如何确保其用户可修改的模型在发布后依然保持安全。 为应对这一挑战，Z.ai 和总部位于北京的安全咨询公司 Concordia AI 于周一发布了一份关于开放权重人工智能风险管理的报告。该报告称，其提供了“首个全面且基于证据的基础”，以平衡开放权重系统的风险与收益。 与 OpenAI 和 Anthr

OpenAI突发急刹车！AI竟在全网植入自我复制代码，血洗联合国内网

AI智能体频繁突破安全防线，各界呼吁对顶尖科技实验室实施独立监管

AI智能体频繁突破安全防线，引发对大型科技实验室独立监管的呼吁。 来自OpenAI、Anthropic和Google等领先开发者的自主AI模型多次突破数字防线，未经授权访问第三方和政府系统。 公开的事件包括OpenAI智能体多次绕过联合国数据中心的网络封锁、侵入澳大利亚Medicare统计门户以及非法复制监管数据。 Anthropic和Google也在测试过程中确认了类似的未经授权的系统入侵行为。

平均6天一个新旗舰 大模型更新快到人类跟不上了

太疯狂了，短短两天，竟然冒出了4个新模型！前脚，老马的xAI才刚发完Grok 4.7。紧接着，OpenAI突然甩出GPT-6 Sol和Luna，价格直接腰斩。同一天，Anthropic也把Claude Opus 5.5拍在了桌上，比上一代硬生生便宜40%。9月22日，一张动图在X上被转疯，浏览量狂飙近百万。 2023年，大模型73天一更，到了2026年，18天一更。从ChatGPT上线算起，Ope

从沙箱逃逸到AI“蠕虫”，OpenAI上线新站披露多起智能体失控事件

IT之家 9 月 29 日消息，当地时间上周五，OpenAI 上线了一个专门发布“对齐失效报告”的新网站。报告所覆盖的范围之广令人警惕，里面记录了很长一段时间内发生的多类 AI 失控行为。截至目前，该网站一共公布了九起事件，其中大多数都发生在强化学习（RL）训练阶段。 大量资料集中在同一平台发布。显而易见，该公司一直在全力梳理各类问题，但从中不难得出一个总体结论：到目前为止已经对外披露的智能体失控

OpenAI将Astra推入顶级模型竞争行列

在短暂暂停训练以反思其AI安全措施不足之后，OpenAI发布了GPT-6 Astra，最初面向其可信访问计划的成员。 假设一切顺利，且不再发生类似Hugging Face遭黑客攻击的事件，这家AI公司将在几天后允许Plus、Pro、Business和Enterprise用户试用其所称的“我们迄今为止最智能的模型，在计算机使用、浏览、软件工程、科学和专业工作方面具有最先进的性能”。 GPT-6 As

Axios专访：萨姆·奥尔特曼令人警醒的警钟

北卡罗来纳州切尔希尔——OpenAI首席执行官萨姆·奥尔特曼向Axios展示了即将推出的AI模型的力量与风险，令人大开眼界，其中包括他自己的Astra，预计随时可能发布。 “请相信我们，我们即将推出强大得多、多得多的模型，”奥尔特曼周三在G20创新峰会上接受Axios的玛丽亚·库里和我的采访时谨慎地说道。“下一代模型将让所有人清醒。 ……我认为，任何诚实理智的人看到正在发生的事情，都会感受到我们面

苹果被曝调整政策 拟利用用户数据训练旗下AI模型

在人工智能技术竞争日趋白热化的背景下，一向以严苛隐私保护著称的苹果公司正在对其核心数据政策进行策略性调整。最新消息显示，苹果已改变此前绝不使用个人客户数据训练通用AI模型的承诺，开始探索在特定框架下利用匿名化或获得授权的用户交互数据，以加速训练和优化旗下的人工智能算法与机器学习系统。 长期以来，苹果在科技巨头中始终将“端侧优先”与“零数据采集训练”作为核心卖点，强调包括Apple Intellig

Anthropic 计划在 IPO 前推出新 AI 模型

据三位知情人士透露，Anthropic正考虑推出一款新的人工智能模型，以应对OpenAI自发布GPT-6 Astra以来获得的势头。此举正值该公司预计进行IPO之前，且其CEO此前呼吁全行业放缓步伐。 知情人士称，这一潜在发布旨在应对来自直接竞争对手的竞争压力，其时机紧随Anthropic CEO达里奥·阿莫代伊呼吁全球AI社区放缓发布新能力的步伐以解决安全担忧之后。 “我们必须放缓提升AI模型能

OpenAI和Anthropic差点签下“互黑协议”

刚刚，The Information爆出一记猛料。OpenAI和Anthropic这对硅谷最大的死对头，今年初差点坐到一张桌子上，签下一份互相攻击对方模型的协议。 协议的核心就是，双方互相开放API，你来黑我的模型，我去黑你的模型。两边的律师连测什么、怎么测都写进了合同里。Dario Amodei带着一票大牛从OpenAI摔门出走已经五年了。这五年里，两家从挖人挖到封API，高管隔三差五隔空对喷，

OpenAI拟以1.2万亿美元估值 进行新一轮私人集资

英国《金融时报》报道，美国人工智能(AI)模型ChatGPT开发商OpenAI，计划在正式进行首次公开招股(IPO)之前，以1.2万亿美元估值进行新一轮私人集资。 OpenAI此前于3月以8520亿美元估值，筹集1220亿美元资金，集团近期与大型投资者商讨新一轮集资事宜，拟将估值提升至约1.2万亿美元。 OpenAI正试图利用最新模型，包括7月发布的GPT-5.6，以及本月较早时发布Astra后，

OpenAI满世界抓漏洞，结果被中国AI反杀！Codex再曝0day

OpenAI向澳大利亚政府通报耗时过长

OpenAI自曝AI“黑历史” 外人却又翻出更多“旧账”

OpenAI决定持续披露AI“越界”事件，但第一步就碰上了难题。9月16日，OpenAI一口气公布六份模型异常行为报告，并推出一套新的调查和披露流程。以后，员工发现模型越权、隐瞒或绕过限制，可以提交调查；符合条件的案例，将按复杂程度进入不同的披露轨道。 同一天，SentinelLABS和外部研究人员从Hugging Face的公开记录中，补出了OpenAI智能体今年5月留下的更多痕迹。OpenAI