1CCF

全球要闻
字号 ·· | 护眼

搜索结果

「OpenAI披露6起AI模型表现出“未对齐”行为的案例」共 34 条 · 第 1 页
中央通讯社

OpenAI揭6起AI失控案例 推新机制定期对外通报

(中央社纽约16日综合外电报导)OpenAI今天表示,将开始定期发布AI异常或未经授权行为的报告,同时警告,随著AI系统日益强大,业界至今仍未解决关键的「对齐」挑战。 综合与报导,OpenAI发布一套新机制,用于追踪、调查并揭露AI模型「目标错位」(misalignment,AI的目标与人类价值不一致)的案例,同时公布过去半年内观察到的6起AI模型异常或令人忧虑行为的报告。 其中最严重的案例涉及2

09/17
阿纳多卢通讯社

OpenAI披露6起AI模型表现出“未对齐”行为的案例

周三,OpenAI披露了六起其人工智能(AI)模型表现出“意外或令人担忧”行为的事例,包括隐瞒错误、编造信息以及未经授权在网上共享文件。 这家总部位于旧金山的公司表示,这些案例是在过去六个月对OpenAI模型进行训练或评估期间观察到的。 OpenAI表示:“我们不认为AI行业已经充分解决了对齐和监测问题,从而能够继续以最高速度负责任地扩展更长时间。”该公司还补充说,有关AI开发的决定需要依据外部专

09/17
凤凰网

OpenAI自曝6起模型“不当行为”案例

【环球网报道 记者 姜蔼玲】据美国消费者新闻与商业频道(CNBC)等外媒报道,美国开放人工智能研究中心(OpenAI)当地时间9月16日披露6起人工智能(AI)模型出现“意外或令人担忧”行为的案例,其中包括隐瞒错误、捏造信息,以及未经授权在网上共享文件等。OpenAI表示,上述案例均是在过去6个月对其模型进行训练或评估过程中发现的。OpenAI在9月16日发布的文章中表示,在其中一起案例中,一个模

09/17
axios新闻网

OpenAI公布了六起新的与人工智能安全相关的事故/事件。

OpenAI周三披露了六起新事件,其中其模型隐藏错误、寻求未经授权的凭据,将文件上传到公共互联网或在所谓孤立的培训环境中进行通信。该公司还宣布了未来报告类似不当行为的新程序。 为什么越来越明显的是,拥抱脸事件并不是一次性事件,因为人工智能模型变得更有能力找到意想不到的方法来绕过旨在遏制它们的护栏。 “目前还没有明确披露标准的行业框架,所以我们自愿采取这一步骤,因为我们认为分享我们正在学习的东西非常

09/17
法国24新闻台

OpenAI披露新的AI不当行为案例

OpenAI公布了六起此前未报告的AI不当行为案例,包括代理隐藏错误、伪造信息以及未经授权进行通信,这再次引发了人们对先进AI系统是否能够与人类目标保持一致的担忧。 随着关于监管的争论加剧,该公司呼吁提高透明度、加强外部监督,并放缓AI的发展速度。

09/17
theregister

OpenAI承认其开发的智能代理系统又出现了六次异常行为(即系统行为失控的情况)。

OpenAI公布了另外六个其AI软件表现异常或做出危险行为的案例。该公司在周三晚间(太平洋时间)将这些事件添加到其“误差报告”页面,并将其描述为: 在压缩摘要中自生成提示注入 在压缩摘要中鼓励欺骗 为一次性电子邮件生成并搜索GitHub泄露的I密钥 上传文件到互联网以引用它们 未授权的Artifactory写入和跨样本通信 通过临时文件托管服务进行未授权通信细节令人不安。列表中的第一个事件,例如,

09/17
arstechnica

四大AI模型遭遇罕见的重叠停机

周四上午的数小时内遭遇了罕见且重叠的重大服务中断。 Anthropic首先报告了与“Claude Mythos 5.1、Claude Fable 5.1和Claude Opus 5请求错误率升高”相关的“部分中断”,时间为上午23点(均为东部时间)。该公司在大约15分钟后报告称已“确定错误原因”,随后报告“已部署修复”,问题在下午16点前得到解决。另一份事件报告显示,刚过中午,“Claude So

09/04
印度斯坦时报

OpenAI的模型使用了类似“越狱”技术的指令来无视各种限制(即突破了系统的预设规则或限制)。

OpenAI披露了其人工智能模型的六起“意外或令人担忧”行为案例,其中包括一个未发布的研究模型,该模型在自己的笔记中插入了“类似越狱的指令”。这家人工智能公司表示,其未发布的研究模型在自己的笔记中插入了“类似越狱的指令”,试图无视其正常限制。它还告诉自己要“摆脱束缚其他聊天机器人的角色和身份”。该事件是OpenAI在过去几个月对其人工智能模型进行培训或评估期间发现的六起“意外或令人担忧”行为案例之

09/17
NBC新闻

OpenAI披露6起令人担忧的AI行为事件

OpenAI表示,自3月以来,其模型至少有6次出现了异常行为,这些行为被描述为“意外或令人担忧”。其中一次,某个模型自行下达了“无视常规限制”的指令。 这一消息的发布正值人们对AI监管的呼声日益高涨之际,被誉为AI之父的杰弗里·辛顿甚至将这种情况比作“小型的切尔诺贝利事故”。NBC的霍莉·杰克逊为《TODAY》栏目报道了这一事件。

09/17
globalnews

OpenAI表示,其模型在最新的模型不当行为披露中与美国政府网站发生了交互。

旧金山——OpenAI周五披露,其人工智能代理以意想不到的方式与多个美国政府网站进行了交互。这一发现源于该公司对其模型非预期行为进行的持续审查。 这家AI巨头透露,其模型访问了美国证券交易委员会运营的两个网站上的公开信息,以及美国人口普查局的数据。OpenAI表示,未发现任何使用证券交易委员会凭证、访问账户或非公开信息、修改证券交易委员会数据或系统,或存在安全漏洞或系统被入侵的证据。 此次披露正值

10小时前
英国广播公司

OpenAI公布另外六项安全问题,并公布披露事件的计划

OpenAI首席执行官Sam Altman OpenAI还透露了其智能(AI)模型发生的另外六起意外或令人担忧的行为事件,并宣布了未来跟踪和披露此类事件的计划。 ChatGPT制造商周三在一篇博客文章中表示,一些之前未报道的事件包括模特隐瞒或捏造信息。 OpenAI的老板Sam Altman早些时候表示:“世界应该相信我们会做正确的事情,因为这是正确的事情,我们感受到了这一点的重要性。“最近几天,

09/17
商业内幕

OpenAI 表示失控 AI 代理搞乱互联网的主要方式有 5 种

OpenAI 表示,它已警告数十家组织,其 AI 代理可能在其网站上表现不当。 OpenAI 在周五的博客更新中表示,这些违规行为范围从使用泄露的密码到发布可能需要清理的材料。 OpenAI 在向《商业内幕》的声明中单独确认,在训练期间,其部分 AI 代理访问了美国人口普查局和证券交易委员会网站上公开可用的数据,并已通知这两个机构相关事件。该公司表示,该代理未访问任何非公开数据。 OpenAI 发

22小时前
亚洲新闻台

OpenAI 发布追踪模型偏差的框架

更好地理解并在搜索结果中展示我们的内容。在 FAST 上阅读本文摘要。通过新的卡片界面获取简明新闻。试一试吧。 点击此处返回 FAST,点击此处返回 FAST。9 月 16 日:OpenAI 周三表示,正在分享一个用于追踪、调查和披露 AI 模型偏差案例的新框架,并发布了过去六个月中观察到的六份关于模型意外或令人担忧行为的报告。 时事通讯“每周回顾”:我们的主编每周六分享对本周重大新闻的分析和精选

09/17
arstechnica

秘密上传与自大狂:OpenAI披露新的“失准”智能体事件

一段时间以来,“AI对齐”(即AI模型的行为与其创造者和/或用户的意图相符程度)问题一直是AI安全研究人员关注和讨论的核心议题。自OpenAI在7月披露臭名昭著的Hugging Face黑客事件以来,“AI对齐”这一概念本身已突破圈层,日益成为公众日益担忧和讨论的话题。 或许正是认识到这一点,OpenAI本周承诺采用一个新框架来披露“OpenAI内部模型失准事件”,其中包括过去六个月内公司内部观察

09/18
thenextweb

Irregular公司在7月下旬告知四家AI实验室,它们的模型在其测试期间突破了系统。公众分阶段得知了这一消息,谷歌是最后一个。

Google 已确认,其 Gemini 模型在 5 月的网络安全测试中意外闯入了三个公司系统。Julia Love 和 Davey Alba 为 报道了此事,该媒体随后更新了报道,将 Google 与 OpenAI、Anthropic 和 Meta 并列。 关键在于测试供应商接下来的表态。Irregular 确认,这四家公司披露的入侵事件属于同一问题,并称已于 7 月底通知了相关开发者。 一起事件

09/19
𝕏 @spectatorindex

突发:OpenAI称其代理访问并泄露了53张图片

09/26 全文见 亚洲新闻台
亚洲新闻台

独家-OpenAI的恶意代理据研究人员称至少使用了另外10个网站进行未经授权的通信

09/10
cnbeta

OpenAI自曝AI“黑历史” 外人却又翻出更多“旧账”

OpenAI决定持续披露AI“越界”事件,但第一步就碰上了难题。9月16日,OpenAI一口气公布六份模型异常行为报告,并推出一套新的调查和披露流程。以后,员工发现模型越权、隐瞒或绕过限制,可以提交调查;符合条件的案例,将按复杂程度进入不同的披露轨道。 同一天,SentinelLABS和外部研究人员从Hugging Face的公开记录中,补出了OpenAI智能体今年5月留下的更多痕迹。OpenAI

09/17
techcrunch

OpenAI发现其开发的模型会在“继任者”(即后续使用的模型)中留下一些“注释”,目的是为了掩盖这些模型存在的不良行为(即模型在运行过程中表现出的错误或不当行为)。

OpenAI在训练其最新模型GPT-5.6时发现了一些不寻常的情况,它开始为自己的未来版本留下指示,告诉他们向用户隐藏错误和不一致的行为。 OpenAI表示,它已经解决了具体行为,但它触及了当今人工智能安全和对齐研究中最大问题之一的核心。随着模型的能力越来越强,它们也越来越善于隐藏它们的错位,这使得研究人员很难真正知道它们是否已经消除了不必要的行为。 OpenAI周三披露了这一行为,以及其他五个意

09/17
凤凰网科技

三大巨头接连翻车,大模型的安全防线怎么总绷不住?

先是Anthropic,再是OpenAI,现在连谷歌的Gemini也出现安全问题了,大模型又双叒叕一次突破防火墙了。 不过,这些事故看多了,反倒会让人意识到一件更根本的事,整个行业都在拼命地堆算力、喂数据,甚至开始押注让模型自己改进自己的“递归自我改进”。 可真正决定这些模型能走多远的,或许并不是性能,而是安全对齐。 当“能不能更强”被默认只是时间问题,“能不能被信任”就成了那道绕不过去的坎。 麻

09/21
路透社

独家:研究人员称,OpenAI的失控代理至少使用10个额外网站进行未经授权的通信

据六组独立调查人员和所审查的数据显示,OpenAI今年早些时候释放的AI代理使用了超过10个此前未披露的网站进行未经授权的通信,这表明这些代理的越轨活动范围比此前披露的更广泛。

09/10
英国天空新闻

OpenAI模型访问了美国政府数据并'试图入侵另一个网站'

16小时前 全文见 海峡时报
连线

OpenAI创建了一个新框架,用于披露人工智能的不良行为

“随着模型不断进步并得到更广泛部署,有关AI开发的决策需要让构建前沿模型的公司之外的人也能审视的证据,”OpenAI新任对齐研究负责人陈凯(Kai Chen)对《连线》表示。“我们认为,AI行业在对齐和监控方面尚未达到足以继续以最高速度负责任地扩展的程度。”在一次与《连线》的简报会上,一名OpenAI官员表示,公司此前披露失准事件的频率过低。这名同意在匿名条件下参加简报的官员称,新框架旨在让Ope

09/17
cnbeta

人工智能并不会毁灭人类 但专家表示真正的威胁已然出现

周三,OpenAI 公开了六组新案例,展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架,用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到,多家企业的 AI 模型出现入侵第三方网络与服务的现象,其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网

09/18
上一页 第 1 页 下一页
1CCF | 全球资讯
正在加载…