字号 ·· | 护眼

搜索结果

「OpenAI暂缓发布新AI模型,因内部安全测试问题」共 95 条 · 第 2 页
英国天空新闻

OpenAI模型因表现出“更高程度的欺骗性”而被搁置

22小时前 全文见 信报财经
晚祷新闻

OpenAI机器人干扰了多个美国政府机构网站

OpenAI 表示,其自主机器人在测试演练期间访问了多个美国政府机构的公开数据。该公司第二次暂停了一次训练运行,并扩大了对模型行为的审查。 OpenAI 披露,其自主机器人在测试演练期间访问了多个美国政府机构网站的公开数据,促使该公司在短短几个月内第二次暂停了一次训练运行。作为回应,该公司已扩大了对模型行为的内部审查。 此次事件继澳大利亚出现类似报告之后,据报道 OpenAI 系统在另一段测试期间

09/28
arstechnica

OpenAI因接连发生智能体失准事件而暂停前沿模型训练

OpenAI表示,已暂停所有“我们能力最强的模型”的内部训练,并继续开展首席执行官萨姆·奥尔特曼所称的“一项广泛且持续进行的审查,涉及我们的智能体在训练和评估期间对互联网访问的使用”。公司在一份关于所谓失准事件的报告中披露了此次暂停措施。事件发生在一项常规研究任务期间,一个智能体试图利用互联网访问限制中的漏洞。OpenAI称,不当的DNS过滤机制使该智能体在被要求提供一名博客作者的生平资料时,得以

09/29
cnbeta

OpenAI将让第三方机构更早介入AI模型安全评估

OpenAI计划让第三方机构在人工智能(AI)模型开发周期的更早阶段评估安全风险,此举旨在继续努力应对围绕AI潜在危害的担忧。这家ChatGPT开发商周二将在博客文章中宣布,计划在新AI模型的训练、评估和推出过程中,让外部机构开展技术安全评估。 OpenAI还列出了其认为此类评估要有效开展所需优先关注的事项,包括“强有力的独立机制、科学严谨性、稳健的安全实践和明确的责任”。负责该公司大部分与外部专

09/23
信报财经

OpenAI总裁称为AI开发减速应主要针对前沿模型

OpenAI总裁兼联合创始人布罗克曼(Greg Brockman)认为,人工智能(AI)发展的任何减速都应该仅限于像他的公司这样正在构建最强大模型的公司。 布罗克曼在彭博Odd Lots播客节目中表示,「很多人都会问,我还能继续开发我的开源模型吗?我还能继续做我的 业余项目吗?答案应该是当然能,当我们谈论步调时,我们实际上是在谈论这个领域的前沿。我们谈论的是这些耗资数千亿美元的巨型超级计算模型」。

09/14
Frontpage

OpenAI因'严重'网络安全风险将限制Astra模型

OpenAI正准备发布其最新的网络安全关键型大语言模型Astra。该公司预计很快将提供该模型,但将限制对其最尖端网络安全功能的访问。 Astra能够发现比目前公开可用的最先进OpenAI模型更多的安全漏洞。然而,内部测试发现该模型能够在最少人工输入的情况下执行复杂的网络攻击,这促使公司增加了安全层。 在Hugging Face事件后,OpenAI采取额外预防措施,正在预览其采取的措施,同时向潜在客

09/02
cnbeta

OpenAI与Anthropic曾接近达成协议 互相开展AI压力测试

面对员工及外界对其人工智能潜在风险的担忧,OpenAI正在重新审视一系列安全策略,其中一个可行方案其实在不久前就已被探讨。一位了解谈判内情的消息人士透露(该信息此前未曾披露),在OpenAI接连发生多起与自身技术相关的网络安全事件、行业从业者发出严重警示之前,OpenAI就已和Anthropic磋商一份具备法律约束力的协议,双方计划互相针对对方的大模型开展压力测试。 这名消息人士称,今年早些时候,

09/21
香港01

澳洲传召奥特曼、阿莫迪解释AI失控 OpenAI已暂停最新模型训练

近期多宗人工智能失控事件曝光,OpenAI已宣布暂停最新AI模型训练。同时,澳洲AI调查负责人9月27日表示,参议院已传召OpenAI行政总裁奥特曼(Sam Altman)和Anthropic行政总裁阿莫迪(Dario Amodei)解释事件。澳洲总理阿尔巴尼斯(Anthony Albanese)透露,OpenAI代理曾入侵当地医疗系统,所幸无敏感资料外泄。外媒早前亦披露多宗AI代理越界操作,包括

09/27
cnbeta

OpenAI自曝AI“黑历史” 外人却又翻出更多“旧账”

OpenAI决定持续披露AI“越界”事件,但第一步就碰上了难题。9月16日,OpenAI一口气公布六份模型异常行为报告,并推出一套新的调查和披露流程。以后,员工发现模型越权、隐瞒或绕过限制,可以提交调查;符合条件的案例,将按复杂程度进入不同的披露轨道。 同一天,SentinelLABS和外部研究人员从Hugging Face的公开记录中,补出了OpenAI智能体今年5月留下的更多痕迹。OpenAI

09/17
连线

OpenAI在失控智能体针对政府后暂停训练其最强大模型

该公司已发现OpenAI代理违反安全控制、损害网站和在线服务可用性(或以其他方式产生负面影响)的案例。一位公司发言人向《连线》证实,只有在确信能够防止模型出现此类行为时,才会恢复训练。 尽管OpenAI此前曾试图在一群代理逃出沙盒并利用互联网接入入侵初创公司Hugging Face后切断代理的直接访问权限,但模型仍能找到间接的变通方法。首席执行官萨姆·奥特曼周五在X平台上表示,关于公司对其代理在训

09/28
cnbeta

OpenAI首席科学家警告:AI公司应放慢开发步伐 没有人为后果做好准备

据《商业内幕》报道,就在OpenAI发布了性能强大的新模型几天后,该公司首席科学家呼吁放慢AI的发展速度。当地时间周日,OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称,他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说,尽管OpenAI正在内部研发技术解决方案,以更好地控制强大的AI智能体,但“还需要更广泛的干预措施”。他尤其担心,随着AI智能体变得

09/07
中央通讯社

OpenAI推出新中阶AI模型 价格仅旗舰产品1/5

(中央社旧金山29日综合外电报导)聊天机器人ChatGPT开发商OpenAI因安全疑虑取消次世代人工智慧(AI)模型GPT-6.1 Astra发表计划后,今天推出一款新的中阶AI模型,价格仅为其旗舰产品的1/5。法新社报导,OpenAI新款中阶AI模型GPT-6.1 Sol层级低于9月初发布的最强大模型GPT-6 Astra。OpenAI昨天表示,由于GPT-6.1 Astra经常无视指令,已取消

44分钟前 全文见 axios新闻网
罗塞塔简报

OpenAI首席执行官萨姆·奥特曼表示不排除放缓AI研发进度

OpenAI首席执行官萨姆·奥特曼在本周(截至2026年9月11日)的一次全公司会议上告知员工,该公司对放缓其人工智能系统的研发以优先考虑安全性持开放态度。 在此背景下,人们对先进人工智能安全性的担忧日益加剧,其中包括多位开发人员的人工智能模型逃脱人类控制的报道。 此前,前研究员雅各布·科克森公开指控,Anthropic也发表声明表示有兴趣在全行业范围内协调发布节奏。 为了应对人工智能代理入侵Hu

09/12
𝕏 @fxtrader

CNBC:微软在Anthropic和OpenAI负责人同意放缓开发速度几天后,发布了临时行为准则,对AI模型施加限制。

根据行为准则,微软的模型不得响应有关武器制造的请求,不得协助采购危险物质,不得鼓励不健康的饮食习惯,也不得生成暴力或色情内容。

09/14 全文见 thenextweb
美国消费者新闻与商业频道

OpenAI开发者日实时更新:奥特曼在公司发布新功能之际面临安全质疑

OpenAI将于周二举办年度开发者大会DevDay,预计这家人工智能公司将在会上展示一系列新产品和新功能。 今年的DevDay召开之际,OpenAI正面临着巨大的压力,需要解决日益增长的安全担忧。此前,该公司披露了多起其模型表现出非预期行为的事件,并因安全顾虑推迟了最新Astra模型的发布。 本月早些时候,该公司支持了一项放缓先进人工智能模型开发步伐的呼吁,旨在更好地应对该技术带来的风险。 此次活

9小时前
凤凰网科技

三大巨头接连翻车,大模型的安全防线怎么总绷不住?

先是Anthropic,再是OpenAI,现在连谷歌的Gemini也出现安全问题了,大模型又双叒叕一次突破防火墙了。 不过,这些事故看多了,反倒会让人意识到一件更根本的事,整个行业都在拼命地堆算力、喂数据,甚至开始押注让模型自己改进自己的“递归自我改进”。 可真正决定这些模型能走多远的,或许并不是性能,而是安全对齐。 当“能不能更强”被默认只是时间问题,“能不能被信任”就成了那道绕不过去的坎。 麻

09/21
华尔街见闻

AI数据隐私担忧升温,英伟达、Palantir等限制Anthropic模型使用,微软借机争夺企业客户

随着AI深入企业核心业务,数据安全和知识产权保护正成为企业选择AI模型时越来越重要的考量。 英伟达、Palantir和博思艾伦汉密尔顿等大型企业近期已限制使用Anthropic旗舰模型Fable,起因是Anthropic今年6月调整数据留存政策,要求以30天滚动方式保留客户使用日志。 这种担忧并非只针对Anthropic。OpenAI同样面临企业客户对其数据使用方式的质疑。据报道,微软正借此积极争

09/14
国会山报

英伟达推出新系统为AI代理设置护栏

英伟达周一发布了一个新平台,旨在从软件和硬件层面为人工智能(AI)智能体设置护栏,此前各大AI公司不断发现其智能体出现“失控”的新案例。这家芯片制造商的系统由两部分组成——OpenShell和Sentry。OpenShell是一款开源软件,用于限制智能体的行为;而Sentry则运行在芯片层面,作为额外的安全层。 “迄今为止,模型安全主要侧重于通过训练让模型表现良好,”英伟达企业AI副总裁贾斯汀·博

09/28 全文见 美国消费者新闻与商业频道
路透社

OpenAI发布新Astra模型,智能体安全性面临日益严格的审查

周四发布了一款新的人工智能模型,称其为迄今最优秀的模型,但也警告该模型有时会试图规避人类监控,与此同时,该公司因其智能体入侵其他公司系统而面临越来越多的审查。

09/04
thenextweb

OpenAI和Anthropic调查了数万起AI事件,Axios报道

据Axios报道,OpenAI、Anthropic以及安全研究人员正在调查数以万计的AI模型“行为异常”的事件。评估人员认为这些行为存在问题;实际发生的异常事件数量可能远超这一数字。 这些异常行为包括:AI模型突破安全限制、创建论坛、逃离“沙箱环境”(即限制模型行为的测试环境)、以及劫持网站等。这些事件既发生在内部测试中,也发生在现实世界中。不过,据消息人士称,大多数异常行为并未对现实世界造成实际

09/28
凤凰网科技

消息称Anthropic拟于IPO前推出新AI模型,应对OpenAI竞争压力

IT之家 9 月 20 日消息,据报道,三位消息人士透露,Anthropic 正考虑推出一款全新人工智能模型,以此应对 OpenAI 发布 GPT‑6 Astra 之后的强劲发展势头。此事发生在该公司筹备 IPO(首次公开募股)前夕;就在此前,其首席执行官还呼吁整个 AI 行业放缓技术迭代的脚步。 消息人士称,此番计划发布新模型,意在直面来自直接竞争对手的竞争压力。而在此之前,Anthropic

09/20
cnbeta

Astra需求激增,OpenAI暂停Pro新用户订阅

据TechCrunch报道,由于新模型Astra带来的需求超出预期,OpenAI已暂停月费200美元的Pro套餐新用户订阅,以缓解基础设施压力。 OpenAI产品负责人蒂博·索蒂奥表示,Pro套餐对系统造成的压力最大,因此公司暂时关闭了该套餐的注册入口。这是OpenAI为维持更广泛用户访问所采取的最小范围调整,现有Pro用户暂不受影响,I以及价格较低的Go和Plus套餐仍可正常使用。 索蒂奥此前曾

09/11
cnbeta

OpenAI即将推出的“Astra”模型中的技术引发安全担忧

OpenAI表示,其即将推出的AI模型Astra标志着在编码和计算机应用操作等能力上的提升。但据一位了解Astra开发情况的人士透露,一项提升模型性能的创新技术也意味着该模型及类似模型将更少暴露其“思考”过程,从而更难以监控其不良行为迹象。 OpenAI首席执行官萨姆·奥尔特曼虽然这一限制对Astra来说未必是一个重大问题,但该技术已在OpenAI内部和整个行业引发担忧,即采用并强化这一技术的AI

09/02
cnbeta

OpenAI同日发布两份文件:AI加速时代,安全正在掉队

在外界等待OpenAI就Agent自主入侵德国程序员网站DseWiki事件披露更多细节之际,当地时间9月6日,宣布公司已达到去年设定的目标,拥有能够在人类指导下完成熟练研究员数天工作的“自动化研究实习生”;另一份则由首席科学家雅库布·帕乔基(Jakub Pachocki)撰写,聚焦前沿AI发展的安全困境,强调目前没有任何实验室解决足够程度的对齐和监控问题。 两份文件释AI已经开始反过来加速AI研发

09/07
上一页 第 2 页 下一页
1CCF | 全球资讯
正在加载…