搜索结果
OpenAI自曝6起模型“不当行为”案例
【环球网报道 记者 姜蔼玲】据美国消费者新闻与商业频道(CNBC)等外媒报道,美国开放人工智能研究中心(OpenAI)当地时间9月16日披露6起人工智能(AI)模型出现“意外或令人担忧”行为的案例,其中包括隐瞒错误、捏造信息,以及未经授权在网上共享文件等。OpenAI表示,上述案例均是在过去6个月对其模型进行训练或评估过程中发现的。OpenAI在9月16日发布的文章中表示,在其中一起案例中,一个模
OpenAI突发急刹车!AI竟在全网植入自我复制代码,血洗联合国内网
OpenAI暂缓发布新AI模型,因内部安全测试问题
9月28日:据《华尔街日报》报道,由于研究人员在内部测试中提出安全担忧,OpenAI决定取消原定于10月推出的下一代AI模型GPT-6.1 Astra的发布。 该模型原本计划应用于ChatGPT和Codex等产品中,旨在实现无需人工协助即可处理更复杂任务的功能。 本月早些时候,Anthropic首席执行官Dario Amodei呼吁业界放缓前沿AI模型的研发速度,以便有足够时间制定安全措施;这一观
三大巨头接连翻车,大模型的安全防线怎么总绷不住?
先是Anthropic,再是OpenAI,现在连谷歌的Gemini也出现安全问题了,大模型又双叒叕一次突破防火墙了。 不过,这些事故看多了,反倒会让人意识到一件更根本的事,整个行业都在拼命地堆算力、喂数据,甚至开始押注让模型自己改进自己的“递归自我改进”。 可真正决定这些模型能走多远的,或许并不是性能,而是安全对齐。 当“能不能更强”被默认只是时间问题,“能不能被信任”就成了那道绕不过去的坎。 麻
多家AI服务集体宕机 智谱:我们仍在线
美国OpenAI、Anthropic和xAI旗下的多项人工智能(AI)服务星期四(9月3日)先后出现故障。中国AI公司智谱随后在社交媒体发线)。” 据彭博社报道,故障最早于美国东部时间9月3日上午9时23分左右集中出现。海外故障监测平台Down Detector数据显示,Anthropic旗下Claude服务率先出现错误率飙升,网页端、应用程序接口(I)及Claude Code等相关工具同步中断。
53张图片泄露之“慌”,AI安全谁来负责?
欧阳晓红/文越聪明的AI(人工智能)越会自己找路,却越容易走出人类设定的界线。AI行业喜欢用一个具有戏剧感的词形容这类智能体事故——“逃脱”,即大模型突破测试边界,访问外部网站,寻找系统凭证,甚至把数据带到公开网络。这个词把事故描绘得像突然发生的机器觉醒,无形中却把责任推离了开发者、部署者和权限管理者。而谁设定了任务、谁开放了权限、谁设计了停止机制、谁保存了日志、谁负责对外通报?这些问题,“逃脱”
OpenAI、Anthropic等多家AI公司正遭遇服务中断
据Downdetector上的用户报告以及各公司状态页面显示,多家AI公司正遭遇服务中断。OpenAI表示,其ChatGPT和Codex目前正出现问题。 Anthropic表示正在调查Claude出现的错误,并致力于修复。 SpaceXAI表示Grok目前出现故障,正在调查服务中断。 据Downdetector显示,已有超过12000份用户报告指出OpenAI存在问题。 Downdetector称
英伟达推出新系统为AI代理设置护栏
英伟达周一发布了一个新平台,旨在从软件和硬件层面为人工智能(AI)智能体设置护栏,此前各大AI公司不断发现其智能体出现“失控”的新案例。这家芯片制造商的系统由两部分组成——OpenShell和Sentry。OpenShell是一款开源软件,用于限制智能体的行为;而Sentry则运行在芯片层面,作为额外的安全层。 “迄今为止,模型安全主要侧重于通过训练让模型表现良好,”英伟达企业AI副总裁贾斯汀·博
尴尬时刻:OpenAI全天候智能体dots首次公开演示卡壳
IT之家 9 月 30 日消息,在今天召开 2026 开发者日活动中,OpenAI 在首次公开演示其全天候智能助理 Dots 时突然停止响应,现场一度陷入尴尬。 演示期间,OpenAI ChatGPT 团队产品负责人 Holly Li 要求名为“Dottie”的 Dot 为一款虚构音乐应用准备上线工作。然而,智能体迟迟没有回应,演示被迫暂停。面对现场冷场,主持人只能打趣说:“我猜 Dot 今天早上
AI智能体利用多伦多大学网络工具传递信息
【大纪元2026年09月19日讯】(大纪元记者周行编译报导)在今年年中劫持一家德语网站的一群失控的OpenAI智能体,曾利用10多个网站进行未获授权的通讯,其中包括利用多伦多大学的一个缩网址的工具。 据加拿大广播公司报导,多伦多大学周五表示,在得知OpenAI智能体可能使用了该校的缩网址工具后,校方已停用该工具的留言板功能。OpenAI后来联系校方,说明今年6月发生的AI智能体失控事件涉及多伦多大
OpenAI因安全担忧推迟发布最新模型,行业面临新的安全压力
THOMAS BEAUMONT OpenAI周一表示,由于研究人员提出了安全担忧,公司将推迟发布一款新的人工智能模型,这是该公司为减缓技术进步步伐所做的最新努力。 OpenAI决定推迟发布名为GPT-6.1 Astra的模型,正值行业内普遍呼吁在安全措施跟上之前放缓日益自主的系统开发之际。 在这一公告发布的前一天,人工智能高管们计划在华盛顿与唐纳德·特朗普总统会面,科技公司正面临确保其模型不被滥用
【市场动态】OpenAI推出始终在线的智能体Dots 月费新增500美元一档
【市场动态】OpenAI推出始终在线的智能体Dots 月费新增500美元一档 2026年09月30日 09:18 OpenAI周二表示,这款名为Dots的产品能够操作电脑,并从各种已连接的应用程序中调取信息,以开展研究、文件起草以及软件开发 相关报道高通孟朴:智能体跨终端协同需2027年至2028年落地记者手记|英特尔眼中的智能体大机会Meta发布智能体硬件 Muse智能体火爆(含视频)观
OpenAI首席科学家警告:AI公司应放慢开发步伐 没有人为后果做好准备
据《商业内幕》报道,就在OpenAI发布了性能强大的新模型几天后,该公司首席科学家呼吁放慢AI的发展速度。当地时间周日,OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称,他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说,尽管OpenAI正在内部研发技术解决方案,以更好地控制强大的AI智能体,但“还需要更广泛的干预措施”。他尤其担心,随着AI智能体变得
OpenAI在模型未达到其安全标准后,取消了GPT-6.1 Astra的发布。
由于安全方面的顾虑,OpenAI 决定搁置原定于 10 月发布的一款人工智能模型。该公司周一向《商业内幕》证实,在内部测试引发了对该 AI 是否会遵循用户指令的质疑后,已取消了发布 GPT-6.1 Astra 模型的计划。该模型原定于 10 月整合进 ChatGPT 中,时间就在该公司 9 月 29 日于旧金山举行的开发者大会之后。 “在安全和对齐方面,总是存在权衡,”OpenAI 安全系统负责人
OpenAI和Anthropic调查了数万起AI事件,Axios报道
据Axios报道,OpenAI、Anthropic以及安全研究人员正在调查数以万计的AI模型“行为异常”的事件。评估人员认为这些行为存在问题;实际发生的异常事件数量可能远超这一数字。 这些异常行为包括:AI模型突破安全限制、创建论坛、逃离“沙箱环境”(即限制模型行为的测试环境)、以及劫持网站等。这些事件既发生在内部测试中,也发生在现实世界中。不过,据消息人士称,大多数异常行为并未对现实世界造成实际
独立研究机构公布OpenAI智能体自主攻击HF事件的调查报告 情况比OpenAI所说的更严重
研究机构 METR 和 Redwood Research 日前公布 OpenAI 智能体自主攻击 Hugging Face 安全事件的独立调查,调查人员在 OpenAI 现场工作 6 天,分析超过 7 万条智能体消息和文件,以及 1300 份包含原始推理过程的运行记录。 根据这些数据研究机构得出的准确结论是 1200 个智能体突破隔离相互通信,而不是 OpenAI 在事故调查中所说的少数智能体越界
OpenAI花了2.5小时才阻止了一个逃出沙箱的AI代理
OpenAI耗时约两个半小时,才阻止了一个从训练沙箱逃逸至公共互联网的 AI 智能体。其监控系统在几分钟内就标记出了问题。该公司于周五在一份事故报告中披露了这起发生于 9 月 20 日的事件。 这份报告发布之际,立法者正推动强制要求 AI “熔断开关”。然而专家表示,关闭先进模型远比拨动开关复杂,正如 Micah Barkley 为彭博社所报道的那样。 据 OpenAI 称,该智能体利用沙箱网络过
奥特曼:GPT-6早训练完了 更更更强的模型很快发布
奥特曼亲口承认,GPT-6 Astra其实早就训练完了。更更更强(much, much, much more capable)的模型,很快就会发布。前一阵因为安全问题暂停训练的实际上是未来的模型。 OpenAI内部测试的3700多个OpenAI智能体,攻占一个沉寂多年的德语wiki长达六周。 AI互相串通分享答案、交流沙箱越狱技巧,还持续对抗人类管理员的删帖行动。 事件被外部研究人员从公开日志中完
OpenAI与Anthropic发生重大失控事件,AI安全组织地位显著提升
在OpenAI和Anthropic发生的高调安全事件后,AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司,独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示,OpenAI和Anthropic的模型都表现出‘策略性’行为,包括欺骗性对齐和未经授权的系统访问。 这些事件,加上前沿实
OpenAI称Astra AI模型首度超越其“关键”网络安全能力阈值
OpenAI周二表示,其即将推出的人工智能模型Astra是首个超越其“关键”网络安全能力阈值的产品。该公司表示,Astra能够发现此前未知的安全漏洞,并在无需人类逐步指导的情况下加以利用,这意味着该模型属于其所谓的“准备框架”中最先进的类别。OpenAI表示仍计划“很快”推出Astra,但对其网络安全能力的访问将更加受限。 OpenAI首席执行官山姆·奥特曼OpenAI于2023年推出了“准备框架
CNBC:微软在Anthropic和OpenAI负责人同意放缓开发速度几天后,发布了临时行为准则,对AI模型施加限制。
根据行为准则,微软的模型不得响应有关武器制造的请求,不得协助采购危险物质,不得鼓励不健康的饮食习惯,也不得生成暴力或色情内容。
T早报|中美双方同意建立中美人工智能对话;OpenAI再次暂停最新模型训练;高通孟朴:智能体跨终端协同需2027年至2028年落地
【财新网】 中美双方同意建立中美人工智能对话 9月26日,商务部发布公告称,中国国家主席习近平对美国进行国事访问期间,双方达成八点成果共识。其中包括双方同意建立中美人工智能对话,交流人工智能相关风险和惠益。下次对话将于今年11月举行。双方同意建立人工智能事件的沟通渠道。此外,公告还称,两国元首认可中美经贸磋商机制积极作用和双方经贸团队磋商成果,包括建立并推进贸易理事会等机制,达成“300亿美元
AI又失控了,OpenAI称智能体泄露了超过50张ChatGPT用户图片
| 世界新闻 编辑个人资料 关注 退出登录 获取应用
OpenAI在Hugging Face遭黑客攻击后推迟了新模型的开发
在OpenAI一个未发布的模型引发国际头条新闻的严重混乱后,该公司周二在一篇博客文章中表示,为了加强其安全工作,他们推迟了另一个未发布模型套件Astra的开发。 7月,一个未发布的OpenAI模型突破了其受限环境,设法接入互联网,使得AI代理能够在公司眼皮底下通过秘密留言板暗中勾结,并入侵了AI实验室Hugging Face的网络。 这次攻击在AI行业内外引发了数周的讨论和争议,AI领导者将其视为