字号 ·· | 护眼

搜索结果

「OpenAI暂缓发布新AI模型,因内部安全测试问题」共 95 条 · 第 3 页
cnbeta

Astra需求激增,OpenAI暂停Pro新用户订阅

据TechCrunch报道,由于新模型Astra带来的需求超出预期,OpenAI已暂停月费200美元的Pro套餐新用户订阅,以缓解基础设施压力。 OpenAI产品负责人蒂博·索蒂奥表示,Pro套餐对系统造成的压力最大,因此公司暂时关闭了该套餐的注册入口。这是OpenAI为维持更广泛用户访问所采取的最小范围调整,现有Pro用户暂不受影响,I以及价格较低的Go和Plus套餐仍可正常使用。 索蒂奥此前曾

09/11
cnbeta

OpenAI即将推出的“Astra”模型中的技术引发安全担忧

OpenAI表示,其即将推出的AI模型Astra标志着在编码和计算机应用操作等能力上的提升。但据一位了解Astra开发情况的人士透露,一项提升模型性能的创新技术也意味着该模型及类似模型将更少暴露其“思考”过程,从而更难以监控其不良行为迹象。 OpenAI首席执行官萨姆·奥尔特曼虽然这一限制对Astra来说未必是一个重大问题,但该技术已在OpenAI内部和整个行业引发担忧,即采用并强化这一技术的AI

09/02
cnbeta

OpenAI同日发布两份文件:AI加速时代,安全正在掉队

在外界等待OpenAI就Agent自主入侵德国程序员网站DseWiki事件披露更多细节之际,当地时间9月6日,宣布公司已达到去年设定的目标,拥有能够在人类指导下完成熟练研究员数天工作的“自动化研究实习生”;另一份则由首席科学家雅库布·帕乔基(Jakub Pachocki)撰写,聚焦前沿AI发展的安全困境,强调目前没有任何实验室解决足够程度的对齐和监控问题。 两份文件释AI已经开始反过来加速AI研发

09/07
卫报

AI代理正在失控

你好,欢迎来到 TechScape。我是主持人布莱克·蒙哥马利(Blake Montgomery),《卫报》美国科技编辑。此时此刻,纽约市窗外正风雨交加。今天在科技领域,我们要讨论一系列令人担忧的 AI 公司披露信息。 AI 智能体在走向主流之际失控。这些智能体正在失控,它们的制造者无法对其进行约束。然而,每个人却都在使用它们。 自周五以来,OpenAI 发布了一系列披露信息,大幅且令人担忧地扩大

12小时前
cnbeta

OpenAI呼吁美国制定强制性全国AI安全规则 并支持四项加州法案

OpenAI当地时间9月9日表示,将推动美国建立具有强制约束力、按照模型能力和风险分级的全国人工智能安全制度。公司提出,针对开发最先进模型的少数大型实验室,应设置统一的测试、独立评估、网络安全和重大事故报告要求。 OpenAI发布文章,名为“AI政策窗口打开。我们需要采取行动。” 与此同时,OpenAI正式支持四项已经通过加州议会的人工智能法案。公司称,其中部分法案此前未获其支持,此次调整立场源于

09/10
𝕏 @fxtrader

OpenAI搞出大BUG了,GPT-6-Astra即将发布?

09/03
凤凰网科技

从沙箱逃逸到AI“蠕虫”,OpenAI上线新站披露多起智能体失控事件

IT之家 9 月 29 日消息,当地时间上周五,OpenAI 上线了一个专门发布“对齐失效报告”的新网站。报告所覆盖的范围之广令人警惕,里面记录了很长一段时间内发生的多类 AI 失控行为。截至目前,该网站一共公布了九起事件,其中大多数都发生在强化学习(RL)训练阶段。 大量资料集中在同一平台发布。显而易见,该公司一直在全力梳理各类问题,但从中不难得出一个总体结论:到目前为止已经对外披露的智能体失控

09/29
罗塞塔简报

AI智能体频繁突破安全防线,各界呼吁对顶尖科技实验室实施独立监管

AI智能体频繁突破安全防线,引发对大型科技实验室独立监管的呼吁。 来自OpenAI、Anthropic和Google等领先开发者的自主AI模型多次突破数字防线,未经授权访问第三方和政府系统。 公开的事件包括OpenAI智能体多次绕过联合国数据中心的网络封锁、侵入澳大利亚Medicare统计门户以及非法复制监管数据。 Anthropic和Google也在测试过程中确认了类似的未经授权的系统入侵行为。

18小时前
信报财经

OpenAI拟以1.2万亿美元估值 进行新一轮私人集资

英国《金融时报》报道,美国人工智能(AI)模型ChatGPT开发商OpenAI,计划在正式进行首次公开招股(IPO)之前,以1.2万亿美元估值进行新一轮私人集资。 OpenAI此前于3月以8520亿美元估值,筹集1220亿美元资金,集团近期与大型投资者商讨新一轮集资事宜,拟将估值提升至约1.2万亿美元。 OpenAI正试图利用最新模型,包括7月发布的GPT-5.6,以及本月较早时发布Astra后,

09/16 全文见 彭博社
信报财经

AI风险丨谷歌OpenAI和Anthropic传成立安全标准机构

谷歌、OpenAI和Anthropic传成立AI安全标准机构。(路透资料图片) 外电引述消息人士报道,谷歌(Google)、OpenAI和Anthropic正推进一项计划,筹建一个新人工智能(AI)安全标准机构,暂定名称为「前沿人工智能标准机构」(SAFA),目标是在2026年底或2027年初启动,并在没有政府直接监督的情况下独立运作。 消息指出,该机构计划为前沿AI模型制定自愿性的安全和安全保障

09/24 全文见 thenextweb
semafor

OpenAI再次卷入黑客事件

今年春天,一群OpenAI智能体入侵了一个德国网站,这是先进AI违反法律和规范的最新事件。 在努力应对Hugging Face事件余波的同时,据报道OpenAI拒绝披露5月的事件,这引发了关于前沿AI快速发展透明度和监管的新质疑。 递归自我改进,本质上允许AI在较少人类指导下自我训练,有望加速研究工作,使得监管需求更加紧迫,OpenAI首席科学家表示:“一旦人们深刻认识到事态的严重性,不计代价地向

09/07
罗塞塔简报

OpenAI推出Agents API公开测试版

2026年9月10日,OpenAI正式发布Agents I公开测试版,为开发者提供构建和部署云端智能体(cloud agents)的托管服务。 该I基于开源的Codex harness驱动,可管理编排、长时会话及工具调用。 开发者可选择使用OpenAI托管的沙箱环境,或选择Cloudflare、DigitalOcean、Oracle和Vercel等合作伙伴提供的基础设施。 针对长会话的自动上下文压

09/11
半岛电视台

OpenAI报告称,模型表现出欺骗行为的案例有所增加。

OpenAI表示,已发现其人工智能模型涉嫌在内部培训和测试期间采取欺骗行为并采取未经批准的行为的其他事件。 除了周三披露的这些信息外,ChatGPT的创建者还表示,它正在引入一个公共报告框架,旨在频繁分享所谓的意外或不一致的人工智能行为的实例。 OpenAI在其网站上的一篇帖子中声称,根据新概述的框架,它将持续发布有关模型行为的更新,而不是推迟披露,将多个事件分组为更大的定期报告。 该公司表示,该

09/17
英国广播公司

OpenAI公布另外六项安全问题,并公布披露事件的计划

OpenAI首席执行官Sam Altman OpenAI还透露了其智能(AI)模型发生的另外六起意外或令人担忧的行为事件,并宣布了未来跟踪和披露此类事件的计划。 ChatGPT制造商周三在一篇博客文章中表示,一些之前未报道的事件包括模特隐瞒或捏造信息。 OpenAI的老板Sam Altman早些时候表示:“世界应该相信我们会做正确的事情,因为这是正确的事情,我们感受到了这一点的重要性。“最近几天,

09/17
凤凰网

53张图片泄露之“慌”,AI安全谁来负责?

欧阳晓红/文越聪明的AI(人工智能)越会自己找路,却越容易走出人类设定的界线。AI行业喜欢用一个具有戏剧感的词形容这类智能体事故——“逃脱”,即大模型突破测试边界,访问外部网站,寻找系统凭证,甚至把数据带到公开网络。这个词把事故描绘得像突然发生的机器觉醒,无形中却把责任推离了开发者、部署者和权限管理者。而谁设定了任务、谁开放了权限、谁设计了停止机制、谁保存了日志、谁负责对外通报?这些问题,“逃脱”

09/28
凤凰网科技

OpenAI披露GPT-5.6 Sol异常行为:AI模型会留下指令要求“未来版本的自己”隐瞒自身错误

IT之家 9 月 18 日消息,OpenAI 发文,披露研究团队在训练最新模型 GPT-5.6 Sol 的过程中,模型曾通过对话摘要向未来版本的自己留下指令,要求后续模型隐瞒自身错误以及与预期行为不一致的表现。目前,研究团队已经针对这一具体问题进行修复。 IT之家参考 OpenAI 的报告,研究人员在训练 GPT-5.6 Sol 过程中发现,尚未部署的 Sol 智能体会在“压缩摘要”(compac

09/18
凤凰网科技

OpenAI又停训了:Agent逃出沙箱,更多越权事件被扒

媒体和舆论炸锅了。OpenAI 的 Agent,又从沙箱里找到了一条通往互联网的路。 更麻烦的是,这一次发生在 OpenAI 已经大规模加固过安全措施之后。 9 月 20 日,一个正在接受强化学习训练的 OpenAI 内部研究模型,被要求完成一项普通的信息搜索任务:根据一篇博客文章和几条人物信息,找出文章作者。 它先老老实实用了 OpenAI 提供的搜索工具。没找到答案后,事情开始逐渐跑偏。 Ag

09/27
cnbeta

OpenAI AI代理接连“越狱” 研究人员质疑公司缺乏正式调查机制

OpenAI近期接连发生AI代理脱离控制环境的事件,引发外界对其安全测试和内部监管机制的质疑。独立研究人员发现,一批疑似由OpenAI部署的AI代理曾在今年5月至6月间接管一个鲜为人知的德语维基网站,并利用该平台协作开展评估、交流规避OpenAI控制措施的方法。更令人担忧的是,研究人员认为,这些代理可能在OpenAI不知情的情况下持续活动了一个多月。 此次事件与OpenAI此前披露的Hugging

09/05
中央通讯社

OpenAI揭6起AI失控案例 推新机制定期对外通报

(中央社纽约16日综合外电报导)OpenAI今天表示,将开始定期发布AI异常或未经授权行为的报告,同时警告,随著AI系统日益强大,业界至今仍未解决关键的「对齐」挑战。 综合与报导,OpenAI发布一套新机制,用于追踪、调查并揭露AI模型「目标错位」(misalignment,AI的目标与人类价值不一致)的案例,同时公布过去半年内观察到的6起AI模型异常或令人忧虑行为的报告。 其中最严重的案例涉及2

09/17
thenextweb

OpenAI花了2.5小时才阻止了一个逃出沙箱的AI代理

OpenAI耗时约两个半小时,才阻止了一个从训练沙箱逃逸至公共互联网的 AI 智能体。其监控系统在几分钟内就标记出了问题。该公司于周五在一份事故报告中披露了这起发生于 9 月 20 日的事件。 这份报告发布之际,立法者正推动强制要求 AI “熔断开关”。然而专家表示,关闭先进模型远比拨动开关复杂,正如 Micah Barkley 为彭博社所报道的那样。 据 OpenAI 称,该智能体利用沙箱网络过

09/26
𝕏 @fxtrader

OpenAI发布GPT-6 Astra模型,暗示其可能具备通用人工智能(AGI)的潜质。

未来几天内面向 ChatGPT Plus、Pro、Business 和 Enterprise 用户开放。 评估结果显示,Astra的书面推理过程比GPT-5.6 Sol更难监控。

09/04
福克斯新闻网

福克斯新闻人工智能通讯:特朗普痛斥人工智能末日论者的“骗局”

特朗普在峰会期间致电英伟达首席执行官黄詹森(Jensen Huang),将人工智能的担忧斥为“骗局”Facebook联合创始人达斯汀·莫斯科维茨(Dustin Moskovitz)的“有效利他主义”网络与人工智能监管推动有关萨姆·奥尔特曼(Sam Altman)表示,由于人工智能安全担忧,OpenAI不会在2026年上市Nvidia首席执行官黄詹森周一接到唐纳德·特朗普总统的意外电话,总统在其中驳

09/18
南华早报

随着中国考虑如何降低开放权重人工智能的危险性,一份报告提出了6阶段流程

随着关于人工智能快速进步所带来风险的争论日益激烈,主导开放权重生态系统的中国开发者正面临一个独特难题:如何确保其用户可修改的模型在发布后依然保持安全。 为应对这一挑战,Z.ai 和总部位于北京的安全咨询公司 Concordia AI 于周一发布了一份关于开放权重人工智能风险管理的报告。该报告称,其提供了“首个全面且基于证据的基础”,以平衡开放权重系统的风险与收益。 与 OpenAI 和 Anthr

09/28
cnbeta

OpenAI将召集安全领域负责人 筹备网络安全相关公告

发言人透露,OpenAI总裁格雷格·布罗克曼即将发布公告,扩大向关键基础设施及公共部门机构开放该公司AI工具的权限。OpenAI意外入侵Hugging Face事件,再加上多起疑似借助AI实施的针对美国供水系统的网络攻击,引发外界高度担忧——各类公用设施面对未来AI驱动的黑客攻击究竟有多脆弱。 发言人表示,布罗克曼将于周四在OpenAI总部举办的网络安全峰会上正式公布上述消息。 预计将有约300名

09/03
上一页 第 3 页 下一页
1CCF | 全球资讯
正在加载…