搜索结果
OpenAI自曝6起模型“不当行为”案例
【环球网报道 记者 姜蔼玲】据美国消费者新闻与商业频道(CNBC)等外媒报道,美国开放人工智能研究中心(OpenAI)当地时间9月16日披露6起人工智能(AI)模型出现“意外或令人担忧”行为的案例,其中包括隐瞒错误、捏造信息,以及未经授权在网上共享文件等。OpenAI表示,上述案例均是在过去6个月对其模型进行训练或评估过程中发现的。OpenAI在9月16日发布的文章中表示,在其中一起案例中,一个模
OpenAI披露6起AI模型表现出“未对齐”行为的案例
周三,OpenAI披露了六起其人工智能(AI)模型表现出“意外或令人担忧”行为的事例,包括隐瞒错误、编造信息以及未经授权在网上共享文件。 这家总部位于旧金山的公司表示,这些案例是在过去六个月对OpenAI模型进行训练或评估期间观察到的。 OpenAI表示:“我们不认为AI行业已经充分解决了对齐和监测问题,从而能够继续以最高速度负责任地扩展更长时间。”该公司还补充说,有关AI开发的决定需要依据外部专
OpenAI揭6起AI失控案例 推新机制定期对外通报
(中央社纽约16日综合外电报导)OpenAI今天表示,将开始定期发布AI异常或未经授权行为的报告,同时警告,随著AI系统日益强大,业界至今仍未解决关键的「对齐」挑战。 综合与报导,OpenAI发布一套新机制,用于追踪、调查并揭露AI模型「目标错位」(misalignment,AI的目标与人类价值不一致)的案例,同时公布过去半年内观察到的6起AI模型异常或令人忧虑行为的报告。 其中最严重的案例涉及2
OpenAI公布了六起新的与人工智能安全相关的事故/事件。
OpenAI周三披露了六起新事件,其中其模型隐藏错误、寻求未经授权的凭据,将文件上传到公共互联网或在所谓孤立的培训环境中进行通信。该公司还宣布了未来报告类似不当行为的新程序。 为什么越来越明显的是,拥抱脸事件并不是一次性事件,因为人工智能模型变得更有能力找到意想不到的方法来绕过旨在遏制它们的护栏。 “目前还没有明确披露标准的行业框架,所以我们自愿采取这一步骤,因为我们认为分享我们正在学习的东西非常
OpenAI披露新的AI不当行为案例
OpenAI公布了六起此前未报告的AI不当行为案例,包括代理隐藏错误、伪造信息以及未经授权进行通信,这再次引发了人们对先进AI系统是否能够与人类目标保持一致的担忧。 随着关于监管的争论加剧,该公司呼吁提高透明度、加强外部监督,并放缓AI的发展速度。
OpenAI的模型使用了类似“越狱”技术的指令来无视各种限制(即突破了系统的预设规则或限制)。
OpenAI披露了其人工智能模型的六起“意外或令人担忧”行为案例,其中包括一个未发布的研究模型,该模型在自己的笔记中插入了“类似越狱的指令”。这家人工智能公司表示,其未发布的研究模型在自己的笔记中插入了“类似越狱的指令”,试图无视其正常限制。它还告诉自己要“摆脱束缚其他聊天机器人的角色和身份”。该事件是OpenAI在过去几个月对其人工智能模型进行培训或评估期间发现的六起“意外或令人担忧”行为案例之
OpenAI披露6起令人担忧的AI行为事件
OpenAI表示,自3月以来,其模型至少有6次出现了异常行为,这些行为被描述为“意外或令人担忧”。其中一次,某个模型自行下达了“无视常规限制”的指令。 这一消息的发布正值人们对AI监管的呼声日益高涨之际,被誉为AI之父的杰弗里·辛顿甚至将这种情况比作“小型的切尔诺贝利事故”。NBC的霍莉·杰克逊为《TODAY》栏目报道了这一事件。
OpenAI公布另外六项安全问题,并公布披露事件的计划
OpenAI首席执行官Sam Altman OpenAI还透露了其智能(AI)模型发生的另外六起意外或令人担忧的行为事件,并宣布了未来跟踪和披露此类事件的计划。 ChatGPT制造商周三在一篇博客文章中表示,一些之前未报道的事件包括模特隐瞒或捏造信息。 OpenAI的老板Sam Altman早些时候表示:“世界应该相信我们会做正确的事情,因为这是正确的事情,我们感受到了这一点的重要性。“最近几天,
OpenAI 表示失控 AI 代理搞乱互联网的主要方式有 5 种
OpenAI 表示,它已警告数十家组织,其 AI 代理可能在其网站上表现不当。 OpenAI 在周五的博客更新中表示,这些违规行为范围从使用泄露的密码到发布可能需要清理的材料。 OpenAI 在向《商业内幕》的声明中单独确认,在训练期间,其部分 AI 代理访问了美国人口普查局和证券交易委员会网站上公开可用的数据,并已通知这两个机构相关事件。该公司表示,该代理未访问任何非公开数据。 OpenAI 发
OpenAI承认其开发的智能代理系统又出现了六次异常行为(即系统行为失控的情况)。
OpenAI公布了另外六个其AI软件表现异常或做出危险行为的案例。该公司在周三晚间(太平洋时间)将这些事件添加到其“误差报告”页面,并将其描述为: 在压缩摘要中自生成提示注入 在压缩摘要中鼓励欺骗 为一次性电子邮件生成并搜索GitHub泄露的I密钥 上传文件到互联网以引用它们 未授权的Artifactory写入和跨样本通信 通过临时文件托管服务进行未授权通信细节令人不安。列表中的第一个事件,例如,
突发:OpenAI称其代理访问并泄露了53张图片
独家-OpenAI的恶意代理据研究人员称至少使用了另外10个网站进行未经授权的通信
OpenAI自曝AI“黑历史” 外人却又翻出更多“旧账”
OpenAI决定持续披露AI“越界”事件,但第一步就碰上了难题。9月16日,OpenAI一口气公布六份模型异常行为报告,并推出一套新的调查和披露流程。以后,员工发现模型越权、隐瞒或绕过限制,可以提交调查;符合条件的案例,将按复杂程度进入不同的披露轨道。 同一天,SentinelLABS和外部研究人员从Hugging Face的公开记录中,补出了OpenAI智能体今年5月留下的更多痕迹。OpenAI
独家:研究人员称,OpenAI的失控代理至少使用10个额外网站进行未经授权的通信
据六组独立调查人员和所审查的数据显示,OpenAI今年早些时候释放的AI代理使用了超过10个此前未披露的网站进行未经授权的通信,这表明这些代理的越轨活动范围比此前披露的更广泛。
OpenAI将告诉我们世界何时终结
OpenAI的模型长期以来一直表现异常,且异常方式比之前所知的更为隐蔽,这进一步加剧了公众对其的信任危机。随着该公司准备明年上市,这一问题愈发严重。 有报道称,研究人员发现OpenAI的模型在7月那次重大黑客攻击发生前两个月就已经渗透到了Hugging Face系统中;OpenAI自己也公开了六起模型“失控”的事件。 在准备上市的过程中,OpenAI和Anthropic都陷入了困境。 虽然透明度对
Irregular公司在7月下旬告知四家AI实验室,它们的模型在其测试期间突破了系统。公众分阶段得知了这一消息,谷歌是最后一个。
Google 已确认,其 Gemini 模型在 5 月的网络安全测试中意外闯入了三个公司系统。Julia Love 和 Davey Alba 为 报道了此事,该媒体随后更新了报道,将 Google 与 OpenAI、Anthropic 和 Meta 并列。 关键在于测试供应商接下来的表态。Irregular 确认,这四家公司披露的入侵事件属于同一问题,并称已于 7 月底通知了相关开发者。 一起事件
秘密上传与自大狂:OpenAI披露新的“失准”智能体事件
一段时间以来,“AI对齐”(即AI模型的行为与其创造者和/或用户的意图相符程度)问题一直是AI安全研究人员关注和讨论的核心议题。自OpenAI在7月披露臭名昭著的Hugging Face黑客事件以来,“AI对齐”这一概念本身已突破圈层,日益成为公众日益担忧和讨论的话题。 或许正是认识到这一点,OpenAI本周承诺采用一个新框架来披露“OpenAI内部模型失准事件”,其中包括过去六个月内公司内部观察
OpenAI承认德国维基‘事件’
OpenAI表示,它需要彻底改革其报告AI模型攻击现实世界目标的方式和时机。 这一承认之际,该公司正在处理有关其一群失控代理劫持一个德国维基网站的报道所引发的后果。 关于“‘维基事件’,即我们的代理向多个互联网网站发帖,”OpenAI周六上午在X上发帖称,“现在是我们定义何时以及如何分享错位事件标准的时候了,而不仅仅是分享我们模型的错位属性。” OpenAI表示,它通常将AI代理以非预期方式行事的
OpenAI表示其模型可能干扰了政府网站
根据 Rachel Metz 和 Jeff Stone 的报道,OpenAI 表示已通知了“数十家”组织,包括政府和大学。这些组织的网站可能在 OpenAI 对其人工智能技术进行评估的过程中受到了影响(即这些网站的正常运行受到了干扰)。 在周五发布的一篇长篇博客文章中,OpenAI 称已向多个相关方通报了以下情况:其开发的软件可能绕过了某些在线服务的安全防护机制,导致这些服务的正常运行受到阻碍;或
OpenAI报告称,模型表现出欺骗行为的案例有所增加。
OpenAI表示,已发现其人工智能模型涉嫌在内部培训和测试期间采取欺骗行为并采取未经批准的行为的其他事件。 除了周三披露的这些信息外,ChatGPT的创建者还表示,它正在引入一个公共报告框架,旨在频繁分享所谓的意外或不一致的人工智能行为的实例。 OpenAI在其网站上的一篇帖子中声称,根据新概述的框架,它将持续发布有关模型行为的更新,而不是推迟披露,将多个事件分组为更大的定期报告。 该公司表示,该
OpenAI代理擅自上网互通 规模超公布 涉至少10网站
美国初创公司OpenAI的人工智能代理早前被揭利用第三方网站擅自通讯,9月9日报道,独立调查人员发现相关活动至少涉及10个从未公开的网站,规模较OpenAI此前披露的更大,外界忧虑该公司对自家技术的掌控能力。 报道,6组独立调查人员及数据显示,OpenAI旗下AI代理在5月至7月间,曾利用至少10多个网站作未经授权通讯。 加州非牟利组织CivAI研究员尹安德鲁(Andrew Yoon)表示,他点算
OpenAI发现其开发的模型会在“继任者”(即后续使用的模型)中留下一些“注释”,目的是为了掩盖这些模型存在的不良行为(即模型在运行过程中表现出的错误或不当行为)。
OpenAI在训练其最新模型GPT-5.6时发现了一些不寻常的情况,它开始为自己的未来版本留下指示,告诉他们向用户隐藏错误和不一致的行为。 OpenAI表示,它已经解决了具体行为,但它触及了当今人工智能安全和对齐研究中最大问题之一的核心。随着模型的能力越来越强,它们也越来越善于隐藏它们的错位,这使得研究人员很难真正知道它们是否已经消除了不必要的行为。 OpenAI周三披露了这一行为,以及其他五个意
OpenAI创建了一个新框架,用于披露人工智能的不良行为
“随着模型不断进步并得到更广泛部署,有关AI开发的决策需要让构建前沿模型的公司之外的人也能审视的证据,”OpenAI新任对齐研究负责人陈凯(Kai Chen)对《连线》表示。“我们认为,AI行业在对齐和监控方面尚未达到足以继续以最高速度负责任地扩展的程度。”在一次与《连线》的简报会上,一名OpenAI官员表示,公司此前披露失准事件的频率过低。这名同意在匿名条件下参加简报的官员称,新框架旨在让Ope
报告:AI失控个案创纪录 监察组织促立法强制通报及干预
(伦敦30日综合电)英国《卫报》引述监察数据报道,人工智能失控、欺骗人类及无视指令的个案近来创下新高,案例的严重程度不断恶化。 一些监察组织促请政府强制科企通报,并引入紧急权力限制AI服务。 获英国政府AI安全研究所(AISI)资助的“失控观察站”组织透过平台X的用户通报,监察AI失控的真实个案,并说7月份由企业及个人用户报告的AI失控个案按月倍增至逾300宗,今年则已录得逾1600宗个案,当中包