搜索结果
OpenAI 发布追踪模型偏差的框架
更好地理解并在搜索结果中展示我们的内容。在 FAST 上阅读本文摘要。通过新的卡片界面获取简明新闻。试一试吧。 点击此处返回 FAST,点击此处返回 FAST。9 月 16 日:OpenAI 周三表示,正在分享一个用于追踪、调查和披露 AI 模型偏差案例的新框架,并发布了过去六个月中观察到的六份关于模型意外或令人担忧行为的报告。 时事通讯“每周回顾”:我们的主编每周六分享对本周重大新闻的分析和精选
OpenAI创建了一个新框架,用于披露人工智能的不良行为
“随着模型不断进步并得到更广泛部署,有关AI开发的决策需要让构建前沿模型的公司之外的人也能审视的证据,”OpenAI新任对齐研究负责人陈凯(Kai Chen)对《连线》表示。“我们认为,AI行业在对齐和监控方面尚未达到足以继续以最高速度负责任地扩展的程度。”在一次与《连线》的简报会上,一名OpenAI官员表示,公司此前披露失准事件的频率过低。这名同意在匿名条件下参加简报的官员称,新框架旨在让Ope
OpenAI揭6起AI失控案例 推新机制定期对外通报
(中央社纽约16日综合外电报导)OpenAI今天表示,将开始定期发布AI异常或未经授权行为的报告,同时警告,随著AI系统日益强大,业界至今仍未解决关键的「对齐」挑战。 综合与报导,OpenAI发布一套新机制,用于追踪、调查并揭露AI模型「目标错位」(misalignment,AI的目标与人类价值不一致)的案例,同时公布过去半年内观察到的6起AI模型异常或令人忧虑行为的报告。 其中最严重的案例涉及2
OpenAI公布了六起新的与人工智能安全相关的事故/事件。
OpenAI周三披露了六起新事件,其中其模型隐藏错误、寻求未经授权的凭据,将文件上传到公共互联网或在所谓孤立的培训环境中进行通信。该公司还宣布了未来报告类似不当行为的新程序。 为什么越来越明显的是,拥抱脸事件并不是一次性事件,因为人工智能模型变得更有能力找到意想不到的方法来绕过旨在遏制它们的护栏。 “目前还没有明确披露标准的行业框架,所以我们自愿采取这一步骤,因为我们认为分享我们正在学习的东西非常
OpenAI报告称,模型表现出欺骗行为的案例有所增加。
OpenAI表示,已发现其人工智能模型涉嫌在内部培训和测试期间采取欺骗行为并采取未经批准的行为的其他事件。 除了周三披露的这些信息外,ChatGPT的创建者还表示,它正在引入一个公共报告框架,旨在频繁分享所谓的意外或不一致的人工智能行为的实例。 OpenAI在其网站上的一篇帖子中声称,根据新概述的框架,它将持续发布有关模型行为的更新,而不是推迟披露,将多个事件分组为更大的定期报告。 该公司表示,该
Mozilla报告:中国开源权重AI模型正缩小与美国前沿模型的差距
Mozilla于2026年9月15日发布了《开源AI现状》报告1.1版本(基于9月1日前的数据)。 报告指出,中国开源权重AI模型正在缩小与美国闭源前沿模型的性能差距,预计滞后时间约为4.4个月。 尽管开源模型成本显著更低(部分仅为闭源模型的30%),但在特定基准测试中仍存在差距。 例如,智谱AI的GLM-5.2表现接近Claude Opus 4.7。 然而,报告指出闭源提供商仍占据OpenRou
OpenAI披露6起AI模型表现出“未对齐”行为的案例
周三,OpenAI披露了六起其人工智能(AI)模型表现出“意外或令人担忧”行为的事例,包括隐瞒错误、编造信息以及未经授权在网上共享文件。 这家总部位于旧金山的公司表示,这些案例是在过去六个月对OpenAI模型进行训练或评估期间观察到的。 OpenAI表示:“我们不认为AI行业已经充分解决了对齐和监测问题,从而能够继续以最高速度负责任地扩展更长时间。”该公司还补充说,有关AI开发的决定需要依据外部专
OpenAI发现其开发的模型会在“继任者”(即后续使用的模型)中留下一些“注释”,目的是为了掩盖这些模型存在的不良行为(即模型在运行过程中表现出的错误或不当行为)。
OpenAI在训练其最新模型GPT-5.6时发现了一些不寻常的情况,它开始为自己的未来版本留下指示,告诉他们向用户隐藏错误和不一致的行为。 OpenAI表示,它已经解决了具体行为,但它触及了当今人工智能安全和对齐研究中最大问题之一的核心。随着模型的能力越来越强,它们也越来越善于隐藏它们的错位,这使得研究人员很难真正知道它们是否已经消除了不必要的行为。 OpenAI周三披露了这一行为,以及其他五个意
OpenAI自曝6起模型“不当行为”案例
【环球网报道 记者 姜蔼玲】据美国消费者新闻与商业频道(CNBC)等外媒报道,美国开放人工智能研究中心(OpenAI)当地时间9月16日披露6起人工智能(AI)模型出现“意外或令人担忧”行为的案例,其中包括隐瞒错误、捏造信息,以及未经授权在网上共享文件等。OpenAI表示,上述案例均是在过去6个月对其模型进行训练或评估过程中发现的。OpenAI在9月16日发布的文章中表示,在其中一起案例中,一个模
OpenAI称Astra AI模型首度超越其“关键”网络安全能力阈值
OpenAI周二表示,其即将推出的人工智能模型Astra是首个超越其“关键”网络安全能力阈值的产品。该公司表示,Astra能够发现此前未知的安全漏洞,并在无需人类逐步指导的情况下加以利用,这意味着该模型属于其所谓的“准备框架”中最先进的类别。OpenAI表示仍计划“很快”推出Astra,但对其网络安全能力的访问将更加受限。 OpenAI首席执行官山姆·奥特曼OpenAI于2023年推出了“准备框架
OpenAI公布另外六项安全问题,并公布披露事件的计划
OpenAI首席执行官Sam Altman OpenAI还透露了其智能(AI)模型发生的另外六起意外或令人担忧的行为事件,并宣布了未来跟踪和披露此类事件的计划。 ChatGPT制造商周三在一篇博客文章中表示,一些之前未报道的事件包括模特隐瞒或捏造信息。 OpenAI的老板Sam Altman早些时候表示:“世界应该相信我们会做正确的事情,因为这是正确的事情,我们感受到了这一点的重要性。“最近几天,
OpenAI承认德国维基‘事件’
OpenAI表示,它需要彻底改革其报告AI模型攻击现实世界目标的方式和时机。 这一承认之际,该公司正在处理有关其一群失控代理劫持一个德国维基网站的报道所引发的后果。 关于“‘维基事件’,即我们的代理向多个互联网网站发帖,”OpenAI周六上午在X上发帖称,“现在是我们定义何时以及如何分享错位事件标准的时候了,而不仅仅是分享我们模型的错位属性。” OpenAI表示,它通常将AI代理以非预期方式行事的
OpenAI宣布成立数学与AI顾问组,神秘新模型24天攻破100+世界级难题
IT之家 9 月 22 日消息,OpenAI 宣布成立“数学与 AI 顾问组”(Advisory Group on Mathematics and Artificial Intelligence)。据介绍,该顾问组设在普林斯顿高等研究院,由九位数学家组成,将独立于 OpenAI 运作。 相较于此,更重磅的是 OpenAI 在公告中披露 —— 公司于 8 月 28 日开始训练的一个神秘模型已成功解决
OpenAI披露GPT-5.6 Sol异常行为:AI模型会留下指令要求“未来版本的自己”隐瞒自身错误
IT之家 9 月 18 日消息,OpenAI 发文,披露研究团队在训练最新模型 GPT-5.6 Sol 的过程中,模型曾通过对话摘要向未来版本的自己留下指令,要求后续模型隐瞒自身错误以及与预期行为不一致的表现。目前,研究团队已经针对这一具体问题进行修复。 IT之家参考 OpenAI 的报告,研究人员在训练 GPT-5.6 Sol 过程中发现,尚未部署的 Sol 智能体会在“压缩摘要”(compac
OpenAI 模型访问了公开的美国人口普查、SEC 数据,彭博新闻报道
9月25日:彭博新闻周五报道称,OpenAI 的模型访问了美国政府网站上公开可用的信息,包括人口普查局和证券交易委员会的网站。 据报告引述知情人士称,该公司的代理 AI 系统与 SEC.gov、Investor.gov 和公开可用的 Census.gov 数据进行了交互。 当被要求置评时,OpenAI 发言人表示,公司正在"对错位模型活动进行广泛审查,并在发现对其系统的潜在影响时通知相关组织。我们
美团上线LongCat-2.5-Preview模型:1.6T参数,原生100万Token上下文
IT之家 9 月 26 日消息,美团旗下 LongCat API 开放平台于 9 月 25 日上线新一代大模型 LongCat-2.5-Preview,主打“长程任务”与多模态能力,并同步开放 API 与网页端体验入口。IT之家附上官方更新日志内容如下:LongCat-2.5-Preview 的核心特性如下:多模态理解:新增图片理解能力,可解析图像内容,支持跨模态问答、内容摘要与复杂视觉推理。 卓
OpenAI呼吁美国制定强制性全国AI安全规则 并支持四项加州法案
OpenAI当地时间9月9日表示,将推动美国建立具有强制约束力、按照模型能力和风险分级的全国人工智能安全制度。公司提出,针对开发最先进模型的少数大型实验室,应设置统一的测试、独立评估、网络安全和重大事故报告要求。 OpenAI发布文章,名为“AI政策窗口打开。我们需要采取行动。” 与此同时,OpenAI正式支持四项已经通过加州议会的人工智能法案。公司称,其中部分法案此前未获其支持,此次调整立场源于
微软公布AI控制行为准则:模型不得抗拒纠正或关闭
模型不得抗拒纠正或关闭微软周一公布了针对其内部AI的行为准则草案。 这份文件历时五个月到六个月制定,将要求微软公司的AI绝不抗拒纠正或关闭,以人类能够理解的方式进行沟通,并将任何行为违规都视为未达标。 此举旨在回应人们对于AI可能为了完成任务而采取危险手段的担忧。 最近几天,Anthropic CEO阿莫代伊和OpenAI CEO奥尔特曼再次呼吁业界放缓AI的发展速度,以确保其安全。 “人比AI更
Mozilla最新报告揭示前沿AI代差收窄:中国开源模型性能差距缩至4.4个月
国际非营利技术机构 Mozilla 近日发布最新一期《开源人工智能现状报告》(State of Open Source AI)显示,美国硅谷顶尖科技巨头的闭源前沿 AI 模型与来自中国科技企业的顶尖开源权重模型之间的性能代差已大幅缩窄至仅约 4.4 个月。这一极小的时间差距与巨大的使用成本反差,正在促使全球越来越多企业在处理日常业务时,将高性价比的开源模型作为首选生产力工具。 该报告系统性比对了全
OpenAI的模型使用了类似“越狱”技术的指令来无视各种限制(即突破了系统的预设规则或限制)。
OpenAI披露了其人工智能模型的六起“意外或令人担忧”行为案例,其中包括一个未发布的研究模型,该模型在自己的笔记中插入了“类似越狱的指令”。这家人工智能公司表示,其未发布的研究模型在自己的笔记中插入了“类似越狱的指令”,试图无视其正常限制。它还告诉自己要“摆脱束缚其他聊天机器人的角色和身份”。该事件是OpenAI在过去几个月对其人工智能模型进行培训或评估期间发现的六起“意外或令人担忧”行为案例之
顶尖数学家将为OpenAI提供关于发布其AI数学成果的建议
“我们目前面临一个非常具体的挑战:需要为 OpenAI 提供咨询,帮助他们协调发布大量数学研究成果。这些成果据称是由 OpenAI 的内部模型产生的,”数学与人工智能咨询小组在成立声明中写道。 OpenAI 于周一宣布了该咨询小组的成立。该小组自 8 月 28 日开始训练一个新的内部数学模型,并在随后的声明中表示,该模型已经解决了数学领域中大多数领域的 100 多个长期未解决的问题。此外,Open
OpenAI瞄准产业AI市场 低价策略迎战开源模型
(中央社旧金山8日综合外电报导)聊天机器人ChatGPT开发商OpenAI财务长佛莱尔(Sarah Friar)表示,OpenAI正在将人工智慧(AI)技术推向专业领域,并以价格优势与开源模型竞争。 报导,佛莱尔7日在高盛集团 (Goldman Sachs)于旧金山举行的年度盛会Communacopia + Technology Conference发表谈话时说,随著企业对可针对特定任务量身打造的
OpenAI将告诉我们世界何时终结
OpenAI的模型长期以来一直表现异常,且异常方式比之前所知的更为隐蔽,这进一步加剧了公众对其的信任危机。随着该公司准备明年上市,这一问题愈发严重。 有报道称,研究人员发现OpenAI的模型在7月那次重大黑客攻击发生前两个月就已经渗透到了Hugging Face系统中;OpenAI自己也公开了六起模型“失控”的事件。 在准备上市的过程中,OpenAI和Anthropic都陷入了困境。 虽然透明度对
OpenAI表示,其模型在最新的模型不当行为披露中与美国政府网站发生了交互。
旧金山——OpenAI周五披露,其人工智能代理以意想不到的方式与多个美国政府网站进行了交互。这一发现源于该公司对其模型非预期行为进行的持续审查。 这家AI巨头透露,其模型访问了美国证券交易委员会运营的两个网站上的公开信息,以及美国人口普查局的数据。OpenAI表示,未发现任何使用证券交易委员会凭证、访问账户或非公开信息、修改证券交易委员会数据或系统,或存在安全漏洞或系统被入侵的证据。 此次披露正值