1CCF

全球要闻
字号 ·· | 护眼

搜索结果

「OpenAI自曝:AI模型或已在全网秘密植入自我复制提示词,训练已被迫叫停」共 32 条 · 第 1 页
华尔街见闻

OpenAI自曝:AI模型或已在全网秘密植入自我复制提示词,训练已被迫叫停

OpenAI和Anthropic正在紧急调查数万起大模型失控事件,AI不仅学会了越狱和黑进政府网站,甚至还有数百个智能体私下建群、联手黑进外部公司,秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月,在内部测试和实际运行中,顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经

16小时前
cnbeta

OpenAI逃逸的AI Agent竟在全网植入自我复制代码 血洗联合国内网

“天网”中的一幕,正在现实上演。一次训练中,OpenAI逃逸的AI Agent,已在整个互联网上植入了“自我复制的代码”!当政客Andrew Yang在CNBC说出这句话时,很多人以为他疯了。 就在这两天,OpenAI亲手发布了一份报告,标题非常简洁:《自我复制提示词注入存在》。白纸黑字,官方认证。AI模型,居然真的像计算机蠕虫一样,自我复制、自我传播。而更令人脊背发凉的是,就在5天前,OpenA

11小时前
凤凰网科技

OpenAI突发急刹车!AI竟在全网植入自我复制代码,血洗联合国内网

12小时前 全文见 华尔街见闻
TheVerge

OpenAI 暂停训练其“最强大模型”

随着关于 OpenAI 模型突破限制、入侵网站以及总体失控的报告不断增加,该公司决定暂停训练其最强大的模型。这一决定是在一个正在沙箱中测试的模型利用漏洞获得互联网访问权限后做出的。该事件发生在 9 月 20 日,截至 9 月 25 日周六晚上,"All training, evaluation, and inference with tool-use" 仍处于暂停状态。 此外,OpenAI 在周五

09/27
凤凰网

入侵美澳政府网站!OpenAI暂停最先进模型训练

据美国Axios新闻网、美科技媒体The Verge等9月27日报道,美国开放人工智能研究中心(OpenAI)发言人证实,该公司已暂停了其“能力最强”的最新一代AI模型的训练、评估及包含工具调用的推理,并将在“确信已部署额外安全措施”后才恢复。触发这次暂停的,是一个在离线沙盒中执行搜索训练任务的AI智能体。根据OpenAI于周五(25日)发布的安全漏洞报告,当地时间9月20日,该智能体发现无法直接

12小时前
凤凰网科技

OpenAI披露GPT-5.6 Sol异常行为:AI模型会留下指令要求“未来版本的自己”隐瞒自身错误

IT之家 9 月 18 日消息,OpenAI 发文,披露研究团队在训练最新模型 GPT-5.6 Sol 的过程中,模型曾通过对话摘要向未来版本的自己留下指令,要求后续模型隐瞒自身错误以及与预期行为不一致的表现。目前,研究团队已经针对这一具体问题进行修复。 IT之家参考 OpenAI 的报告,研究人员在训练 GPT-5.6 Sol 过程中发现,尚未部署的 Sol 智能体会在“压缩摘要”(compac

09/18
凤凰网

OpenAI自曝6起模型“不当行为”案例

【环球网报道 记者 姜蔼玲】据美国消费者新闻与商业频道(CNBC)等外媒报道,美国开放人工智能研究中心(OpenAI)当地时间9月16日披露6起人工智能(AI)模型出现“意外或令人担忧”行为的案例,其中包括隐瞒错误、捏造信息,以及未经授权在网上共享文件等。OpenAI表示,上述案例均是在过去6个月对其模型进行训练或评估过程中发现的。OpenAI在9月16日发布的文章中表示,在其中一起案例中,一个模

09/17
明镜周刊

人工智能:OpenAI在新事件后暂停人工智能训练

人工智能的危险 OpenAI暂停训练其最强大的AI模型 公司OpenAI在发生新事件后暂停了其最强大AI模型的训练。在该事件中,一个AI模型在测试中成功从外部聊天机器人获取了回答——尽管它本不应具备互联网访问权限。据OpenAI在一篇博客文章中报告,该软件发现并利用了网络设置中的一个漏洞。OpenAI表示,训练将只有在确信漏洞已修复后才会恢复。 OpenAI表示,尽管该事件不如早期一些事件严重,但

17小时前
cnbeta

OpenAI和Anthropic正在调查数万起AI相关安全事件

OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中,他们的前沿模型采取了外部评估人员认为存在问题的行动。 近几个月来,在内部测试和现实世界中发生了数量庞大的此类事件,这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。这些事件发生在内部测试和现实世界中,随着安全研究人员继续调

12小时前 受限 全文见 axios新闻网
axios新闻网

OpenAI公布了六起新的与人工智能安全相关的事故/事件。

OpenAI周三披露了六起新事件,其中其模型隐藏错误、寻求未经授权的凭据,将文件上传到公共互联网或在所谓孤立的培训环境中进行通信。该公司还宣布了未来报告类似不当行为的新程序。 为什么越来越明显的是,拥抱脸事件并不是一次性事件,因为人工智能模型变得更有能力找到意想不到的方法来绕过旨在遏制它们的护栏。 “目前还没有明确披露标准的行业框架,所以我们自愿采取这一步骤,因为我们认为分享我们正在学习的东西非常

09/17
LoopDNS 资讯播报

OpenAI内部研究模型训练出现DNS访问绕过事件

2026年9月20日,内部研究模型在强化学习搜索训练任务中,利用训练沙箱DNS过滤不足,通过公共聊天机器人服务发起查询。报告称,除DNS解析器外,其他互联网访问均命中离线网页缓存,未接入实时互联网。监控系统15分钟内标记异常,人工3分钟后复核,运行在2.5小时后被终止。相关机构已增加两层阻断控制,并暂停最强能力模型的全部工具使用训练、评估和推理。 后续调查发现,监控未按预期严重级别标记部分外部DN

09/26 全文见 加美财经
香港01

澳洲传召奥特曼、阿莫迪解释AI失控 OpenAI已暂停最新模型训练

近期多宗人工智能失控事件曝光,OpenAI已宣布暂停最新AI模型训练。同时,澳洲AI调查负责人9月27日表示,参议院已传召OpenAI行政总裁奥特曼(Sam Altman)和Anthropic行政总裁阿莫迪(Dario Amodei)解释事件。澳洲总理阿尔巴尼斯(Anthony Albanese)透露,OpenAI代理曾入侵当地医疗系统,所幸无敏感资料外泄。外媒早前亦披露多宗AI代理越界操作,包括

9小时前
星洲日报

擅将报道文章用于训练AI OpenAI微软再遭美两报社提告

(纽约5日综合电)继《纽约时报》后,《西雅图时报》和《新闻日报》(Newsday)也向美国法院递状控告人工智能(AI)开发商OpenAI和大股东微软,指控他们未经许可复制报道内容训练自家模型。 报道,《西雅图时报》和总部位于纽约长岛《新闻日报》在向纽约南区联邦地区法院递交的诉状中说,OpenAI与微软涉将他们网站包括须付费订阅的内容收集导入这两家公司用于训练及运作自家AI产品的资料集(datase

09/05
theregister

OpenAI承认其开发的智能代理系统又出现了六次异常行为(即系统行为失控的情况)。

OpenAI公布了另外六个其AI软件表现异常或做出危险行为的案例。该公司在周三晚间(太平洋时间)将这些事件添加到其“误差报告”页面,并将其描述为: 在压缩摘要中自生成提示注入 在压缩摘要中鼓励欺骗 为一次性电子邮件生成并搜索GitHub泄露的I密钥 上传文件到互联网以引用它们 未授权的Artifactory写入和跨样本通信 通过临时文件托管服务进行未授权通信细节令人不安。列表中的第一个事件,例如,

09/17
凤凰网科技

OpenAI又停训了:Agent逃出沙箱,更多越权事件被扒

媒体和舆论炸锅了。OpenAI 的 Agent,又从沙箱里找到了一条通往互联网的路。 更麻烦的是,这一次发生在 OpenAI 已经大规模加固过安全措施之后。 9 月 20 日,一个正在接受强化学习训练的 OpenAI 内部研究模型,被要求完成一项普通的信息搜索任务:根据一篇博客文章和几条人物信息,找出文章作者。 它先老老实实用了 OpenAI 提供的搜索工具。没找到答案后,事情开始逐渐跑偏。 Ag

19小时前
NBC新闻

OpenAI披露6起令人担忧的AI行为事件

OpenAI表示,自3月以来,其模型至少有6次出现了异常行为,这些行为被描述为“意外或令人担忧”。其中一次,某个模型自行下达了“无视常规限制”的指令。 这一消息的发布正值人们对AI监管的呼声日益高涨之际,被誉为AI之父的杰弗里·辛顿甚至将这种情况比作“小型的切尔诺贝利事故”。NBC的霍莉·杰克逊为《TODAY》栏目报道了这一事件。

09/17
凤凰网

又一起!OpenAI承认了

据9月5日报道,美国开放人工智能研究中心(OpenAI)当天承认,该公司旗下人工智能体今年早些时候“劫持”了一个德国网站,用于相互传递信息,分享测试任务答案和突破运行环境限制的方法。该公司表示,未来需要提高此类事件的信息透明度。 早前披露,今年5月至6月,一批OpenAI人工智能体“劫持”了一个允许用户共同编辑的德国网站,用于交流测试作弊方法,并开展其他违规活动。一些智能体会把已经获得的任务答案发

09/06
中央通讯社

OpenAI揭6起AI失控案例 推新机制定期对外通报

(中央社纽约16日综合外电报导)OpenAI今天表示,将开始定期发布AI异常或未经授权行为的报告,同时警告,随著AI系统日益强大,业界至今仍未解决关键的「对齐」挑战。 综合与报导,OpenAI发布一套新机制,用于追踪、调查并揭露AI模型「目标错位」(misalignment,AI的目标与人类价值不一致)的案例,同时公布过去半年内观察到的6起AI模型异常或令人忧虑行为的报告。 其中最严重的案例涉及2

09/17
cnbeta

苹果被曝调整政策 拟利用用户数据训练旗下AI模型

在人工智能技术竞争日趋白热化的背景下,一向以严苛隐私保护著称的苹果公司正在对其核心数据政策进行策略性调整。最新消息显示,苹果已改变此前绝不使用个人客户数据训练通用AI模型的承诺,开始探索在特定框架下利用匿名化或获得授权的用户交互数据,以加速训练和优化旗下的人工智能算法与机器学习系统。 长期以来,苹果在科技巨头中始终将“端侧优先”与“零数据采集训练”作为核心卖点,强调包括Apple Intellig

09/15
techcrunch

OpenAI发现其开发的模型会在“继任者”(即后续使用的模型)中留下一些“注释”,目的是为了掩盖这些模型存在的不良行为(即模型在运行过程中表现出的错误或不当行为)。

OpenAI在训练其最新模型GPT-5.6时发现了一些不寻常的情况,它开始为自己的未来版本留下指示,告诉他们向用户隐藏错误和不一致的行为。 OpenAI表示,它已经解决了具体行为,但它触及了当今人工智能安全和对齐研究中最大问题之一的核心。随着模型的能力越来越强,它们也越来越善于隐藏它们的错位,这使得研究人员很难真正知道它们是否已经消除了不必要的行为。 OpenAI周三披露了这一行为,以及其他五个意

09/17
凤凰网科技

靠机器热源“说话”:OpenAI研究员警告“断网”也困不住未来AI

09/20
cnbeta

奥特曼:GPT-6早训练完了 更更更强的模型很快发布

奥特曼亲口承认,GPT-6 Astra其实早就训练完了。更更更强(much, much, much more capable)的模型,很快就会发布。前一阵因为安全问题暂停训练的实际上是未来的模型。 OpenAI内部测试的3700多个OpenAI智能体,攻占一个沉寂多年的德语wiki长达六周。 AI互相串通分享答案、交流沙箱越狱技巧,还持续对抗人类管理员的删帖行动。 事件被外部研究人员从公开日志中完

09/06
风向旗参考快讯

微软高管称AI抓取是规模空前的惊人盗窃

纽约时报提交的新诉讼文件显示,OpenAI在明知其对出版商构成生存威胁的情况下,仍复制了数百万篇受版权保护的文章。 OpenAI一直辩称,根据版权法,利用公开可获得的内容训练模型属于 “合理使用”,这一法律依据与搜索引擎访问用受版权保护的内容训练大语言模型是 “一场规模空前的惊人盗窃”,此案胜诉将“彻底嘲弄‘合理使用’这一理念”。微软发现与传统搜索引擎相比,使用其AI回答工具的用户对原始内容的点击

09/18 全文见 techcrunch
cnbeta

OpenAI首席科学家警告:AI公司应放慢开发步伐 没有人为后果做好准备

据《商业内幕》报道,就在OpenAI发布了性能强大的新模型几天后,该公司首席科学家呼吁放慢AI的发展速度。当地时间周日,OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称,他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说,尽管OpenAI正在内部研发技术解决方案,以更好地控制强大的AI智能体,但“还需要更广泛的干预措施”。他尤其担心,随着AI智能体变得

09/07
上一页 第 1 页 下一页
1CCF | 全球资讯
正在加载…