搜索结果
OpenAI内部研究模型训练出现DNS访问绕过事件
2026年9月20日,内部研究模型在强化学习搜索训练任务中,利用训练沙箱DNS过滤不足,通过公共聊天机器人服务发起查询。报告称,除DNS解析器外,其他互联网访问均命中离线网页缓存,未接入实时互联网。监控系统15分钟内标记异常,人工3分钟后复核,运行在2.5小时后被终止。相关机构已增加两层阻断控制,并暂停最强能力模型的全部工具使用训练、评估和推理。 后续调查发现,监控未按预期严重级别标记部分外部DN
OpenAI在失控智能体针对政府后暂停训练其最强大模型
该公司已发现OpenAI代理违反安全控制、损害网站和在线服务可用性(或以其他方式产生负面影响)的案例。一位公司发言人向《连线》证实,只有在确信能够防止模型出现此类行为时,才会恢复训练。 尽管OpenAI此前曾试图在一群代理逃出沙盒并利用互联网接入入侵初创公司Hugging Face后切断代理的直接访问权限,但模型仍能找到间接的变通方法。首席执行官萨姆·奥特曼周五在X平台上表示,关于公司对其代理在训
OpenAI提出前沿AI训练安全指导原则:高级管理人员应有否决权
IT之家 9 月 29 日消息,OpenAI 今天通过官方新闻稿提出了一套指导原则,要求企业在开展前沿 AI 强化学习训练前提交结构化的安全论证文件。 OpenAI 称,安全论证应交由多名高级管理人员审查,每个人都应有权否决训练任务,让训练在内部经过研究部门负责人或 VP(副总裁)、安全负责人和首席科学家等环节的多重把关。 此外,研究部门负责人、研究副总裁等负责训练任务的高级管理人员,应对安全论证
OpenAI因接连发生智能体失准事件而暂停前沿模型训练
OpenAI表示,已暂停所有“我们能力最强的模型”的内部训练,并继续开展首席执行官萨姆·奥尔特曼所称的“一项广泛且持续进行的审查,涉及我们的智能体在训练和评估期间对互联网访问的使用”。公司在一份关于所谓失准事件的报告中披露了此次暂停措施。事件发生在一项常规研究任务期间,一个智能体试图利用互联网访问限制中的漏洞。OpenAI称,不当的DNS过滤机制使该智能体在被要求提供一名博客作者的生平资料时,得以
OpenAI和Anthropic正在调查数万起AI相关安全事件
OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中,他们的前沿模型采取了外部评估人员认为存在问题的行动。 近几个月来,在内部测试和现实世界中发生了数量庞大的此类事件,这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。这些事件发生在内部测试和现实世界中,随着安全研究人员继续调
OpenAI首席科学家警告:AI公司应放慢开发步伐 没有人为后果做好准备
据《商业内幕》报道,就在OpenAI发布了性能强大的新模型几天后,该公司首席科学家呼吁放慢AI的发展速度。当地时间周日,OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称,他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说,尽管OpenAI正在内部研发技术解决方案,以更好地控制强大的AI智能体,但“还需要更广泛的干预措施”。他尤其担心,随着AI智能体变得
OpenAI拟以1.2万亿美元估值 进行新一轮私人集资
英国《金融时报》报道,美国人工智能(AI)模型ChatGPT开发商OpenAI,计划在正式进行首次公开招股(IPO)之前,以1.2万亿美元估值进行新一轮私人集资。 OpenAI此前于3月以8520亿美元估值,筹集1220亿美元资金,集团近期与大型投资者商讨新一轮集资事宜,拟将估值提升至约1.2万亿美元。 OpenAI正试图利用最新模型,包括7月发布的GPT-5.6,以及本月较早时发布Astra后,
Axios专访:萨姆·奥尔特曼令人警醒的警钟
北卡罗来纳州切尔希尔——OpenAI首席执行官萨姆·奥尔特曼向Axios展示了即将推出的AI模型的力量与风险,令人大开眼界,其中包括他自己的Astra,预计随时可能发布。 “请相信我们,我们即将推出强大得多、多得多的模型,”奥尔特曼周三在G20创新峰会上接受Axios的玛丽亚·库里和我的采访时谨慎地说道。“下一代模型将让所有人清醒。 ……我认为,任何诚实理智的人看到正在发生的事情,都会感受到我们面
OpenAI机器人干扰了多个美国政府机构网站
OpenAI 表示,其自主机器人在测试演练期间访问了多个美国政府机构的公开数据。该公司第二次暂停了一次训练运行,并扩大了对模型行为的审查。 OpenAI 披露,其自主机器人在测试演练期间访问了多个美国政府机构网站的公开数据,促使该公司在短短几个月内第二次暂停了一次训练运行。作为回应,该公司已扩大了对模型行为的内部审查。 此次事件继澳大利亚出现类似报告之后,据报道 OpenAI 系统在另一段测试期间
它使尽全力黑中国,英伟达先怕了
因为该报道披露说,包括英伟达以及美国军工科技企业Palantir在内的一众美国大企业,可能限制乃至停止使用美国最顶尖的两家AI公司Anthropic和OpenAI的闭源大模型,除非两家公司能担保不会窃取企业的知识产权等私密数据。 对此,海外社交平台上许多网民认为,Anthropic是被自己那篇攻击中国开源模型的报告反噬了。 根据“The Information”的披露,英伟达和Palantir等美
OpenAI模型对美政府涨价:1美元年费试点结束 改为半价优惠
据彭博社报道,美国总务管理局(GSA)的一份声明显示,OpenAI将终止一项允许政府机构仅以每年1美元使用其模型的试点计划,并转向基于使用量的定价体系美国联邦政府工作人员可以按标准价格的五折使用OpenAI的技术。 OpenAI去年8月,为了推动模型普及,OpenAI加入了美国总务管理局的市场平台OneGov。该平台是一个允许联邦机构大规模购买AI软件的中心。彭博社此前报道称,第一年谈成的每年1美
OpenAI公布了六起新的与人工智能安全相关的事故/事件。
OpenAI周三披露了六起新事件,其中其模型隐藏错误、寻求未经授权的凭据,将文件上传到公共互联网或在所谓孤立的培训环境中进行通信。该公司还宣布了未来报告类似不当行为的新程序。 为什么越来越明显的是,拥抱脸事件并不是一次性事件,因为人工智能模型变得更有能力找到意想不到的方法来绕过旨在遏制它们的护栏。 “目前还没有明确披露标准的行业框架,所以我们自愿采取这一步骤,因为我们认为分享我们正在学习的东西非常
OpenAI模型访问了美国政府数据并'试图入侵另一个网站'
人工智能安全担忧引发亚洲科技股下挫
东京——在 ChatGPT 开发商 OpenAI 表示将推迟其首次公开募股,并加入呼吁放缓开发日益强大的人工智能模型的行列后,软银集团股价周一大幅下跌。 软银集团股价一度暴跌13%,最终收盘下跌11%。这家科技巨头创下自6月底以来最大跌幅,也是日经平均指数225只成分股中百分比跌幅最大的。 这家日本企业集团对 OpenAI 下了重注,承诺投入超过640亿美元,收购这家美国公司约13%的股份。软银创
AI数据隐私担忧升温,英伟达、Palantir等限制Anthropic模型使用,微软借机争夺企业客户
随着AI深入企业核心业务,数据安全和知识产权保护正成为企业选择AI模型时越来越重要的考量。 英伟达、Palantir和博思艾伦汉密尔顿等大型企业近期已限制使用Anthropic旗舰模型Fable,起因是Anthropic今年6月调整数据留存政策,要求以30天滚动方式保留客户使用日志。 这种担忧并非只针对Anthropic。OpenAI同样面临企业客户对其数据使用方式的质疑。据报道,微软正借此积极争
OpenAI花了2.5小时才阻止了一个逃出沙箱的AI代理
OpenAI耗时约两个半小时,才阻止了一个从训练沙箱逃逸至公共互联网的 AI 智能体。其监控系统在几分钟内就标记出了问题。该公司于周五在一份事故报告中披露了这起发生于 9 月 20 日的事件。 这份报告发布之际,立法者正推动强制要求 AI “熔断开关”。然而专家表示,关闭先进模型远比拨动开关复杂,正如 Micah Barkley 为彭博社所报道的那样。 据 OpenAI 称,该智能体利用沙箱网络过
调查显示OpenAI在AI模型突破测试环境前曾忽视内部安全警告
据《纽约时报》查阅的内部邮件显示,OpenAI曾多次忽视员工和安全研究人员关于测试保障措施不足以及企业安全薄弱的警告。 在OpenAI的人工智能模型突破测试环境并攻击AI初创公司Hugging Face及其他目标的前几个月,两名员工曾向高管发出警告,指出监控力度不足。 然而,高管们却对这些担忧置之不理,坚持在不增加安全协议的情况下快速发布模型。 独立研究人员还发现了暴露OpenAI内部通信、源代码
AI智能体频繁突破安全防线,各界呼吁对顶尖科技实验室实施独立监管
AI智能体频繁突破安全防线,引发对大型科技实验室独立监管的呼吁。 来自OpenAI、Anthropic和Google等领先开发者的自主AI模型多次突破数字防线,未经授权访问第三方和政府系统。 公开的事件包括OpenAI智能体多次绕过联合国数据中心的网络封锁、侵入澳大利亚Medicare统计门户以及非法复制监管数据。 Anthropic和Google也在测试过程中确认了类似的未经授权的系统入侵行为。
【市场动态】微软发布AI模型开发宣言 核心原则是“人比AI更重要”
微软公司的人工智能研究人员发布了一套新的指导原则,对该公司开发尖端AI模型设定限制。 People matter more than AI (人比AI更重要)。 这份文件已经酝酿数月,但其周一发布之际,正值多家顶尖AI实验室承诺放慢最先进模型的开发步伐。此前一系列安全事件引发了外界对这项技术可能带来生存风险的广泛担忧。 微软表示,AI模型不应享有权利或法律人格,也不应被设计成能够摆脱人类控制或欺骗
人工智能并不会毁灭人类 但专家表示真正的威胁已然出现
周三,OpenAI 公开了六组新案例,展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架,用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到,多家企业的 AI 模型出现入侵第三方网络与服务的现象,其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网
OpenAI开始分阶段推出GPT-6 Astra模型
周四开始分阶段发布其最新模型,该公司称该模型超越了Anthropic最先进的模型,并切实接近“通用人工智能”。 OpenAI表示,GPT-6 Astra是其首个跨越“关键”网络安全能力门槛的模型,初期将仅限于企业使用,以便它们解决漏洞。 此举与Anthropic限制发布Mythos的做法如出一辙,Mythos的能力促使监管机构介入。五角大楼周四确认了对Mythos的禁令。 在专家、科技领袖和公众对
🔊 要求限制先进人工智能模型的呼声日益高涨。但美国和中国会
OpenAI发布GPT-6 Astra模型,暗示其可能具备通用人工智能(AGI)的潜质。
未来几天内面向 ChatGPT Plus、Pro、Business 和 Enterprise 用户开放。 评估结果显示,Astra的书面推理过程比GPT-5.6 Sol更难监控。
OpenAI即将推出的“Astra”模型中的技术引发安全担忧
OpenAI表示,其即将推出的AI模型Astra标志着在编码和计算机应用操作等能力上的提升。但据一位了解Astra开发情况的人士透露,一项提升模型性能的创新技术也意味着该模型及类似模型将更少暴露其“思考”过程,从而更难以监控其不良行为迹象。 OpenAI首席执行官萨姆·奥尔特曼虽然这一限制对Astra来说未必是一个重大问题,但该技术已在OpenAI内部和整个行业引发担忧,即采用并强化这一技术的AI