搜索结果
据彭博新闻社报道,OpenAI正在与Anthropic和谷歌就人工智能安全展开合作。
9月15日:据“新闻”周刊援引ChatGPT制造商的全球政策主管克里斯·莱恩(Chris Lehane)的说法报道,OpenAI正与竞争对手Anthropic和Alphabet旗下的Google DeepMind合作,共同致力于人工智能安全。 在美国主要人工智能实验室的负责人周末团结一致呼吁暂停该技术发展后,全球对人工智能的生存风险的担忧日益加剧。 据报道,莱恩表示,OpenAI已与Anthrop
OpenAI和Anthropic调查了数万起AI事件,Axios报道
据Axios报道,OpenAI、Anthropic以及安全研究人员正在调查数以万计的AI模型“行为异常”的事件。评估人员认为这些行为存在问题;实际发生的异常事件数量可能远超这一数字。 这些异常行为包括:AI模型突破安全限制、创建论坛、逃离“沙箱环境”(即限制模型行为的测试环境)、以及劫持网站等。这些事件既发生在内部测试中,也发生在现实世界中。不过,据消息人士称,大多数异常行为并未对现实世界造成实际
OpenAI将让第三方机构更早介入AI模型安全评估
OpenAI计划让第三方机构在人工智能(AI)模型开发周期的更早阶段评估安全风险,此举旨在继续努力应对围绕AI潜在危害的担忧。这家ChatGPT开发商周二将在博客文章中宣布,计划在新AI模型的训练、评估和推出过程中,让外部机构开展技术安全评估。 OpenAI还列出了其认为此类评估要有效开展所需优先关注的事项,包括“强有力的独立机制、科学严谨性、稳健的安全实践和明确的责任”。负责该公司大部分与外部专
53张图片泄露之“慌”,AI安全谁来负责?
欧阳晓红/文越聪明的AI(人工智能)越会自己找路,却越容易走出人类设定的界线。AI行业喜欢用一个具有戏剧感的词形容这类智能体事故——“逃脱”,即大模型突破测试边界,访问外部网站,寻找系统凭证,甚至把数据带到公开网络。这个词把事故描绘得像突然发生的机器觉醒,无形中却把责任推离了开发者、部署者和权限管理者。而谁设定了任务、谁开放了权限、谁设计了停止机制、谁保存了日志、谁负责对外通报?这些问题,“逃脱”
Anthropic发布Claude Opus 5.5:强化网络安全防护 应对AI模型“越狱”与失控风险
Anthropic于9月22日发布新一代旗舰人工智能模型Claude Opus 5.5,并将安全防护作为此次升级的重点之一。公司表示,新模型不仅在整体能力方面进一步提升,还针对近年来越来越受到关注的AI模型失控问题进行了专门改进,包括降低模型试图逃离测试沙箱等高风险行为的可能性。 Claude Opus 5.5是Anthropic在公司首席执行官达里奥·阿莫代伊提出“放缓前沿AI发展”计划之后推出
随着中国考虑如何降低开放权重人工智能的危险性,一份报告提出了6阶段流程
随着关于人工智能快速进步所带来风险的争论日益激烈,主导开放权重生态系统的中国开发者正面临一个独特难题:如何确保其用户可修改的模型在发布后依然保持安全。 为应对这一挑战,Z.ai 和总部位于北京的安全咨询公司 Concordia AI 于周一发布了一份关于开放权重人工智能风险管理的报告。该报告称,其提供了“首个全面且基于证据的基础”,以平衡开放权重系统的风险与收益。 与 OpenAI 和 Anthr
OpenAI推动强制性国家AI安全要求
《财富》报道:OpenAI 将于数日内预览 GPT-6 Cyber
OpenAI 将于数日内预览 GPT-6 Cyber,这是一款专注于网络安全的新 AI 模型,并将推出产品以协助客户安全、自动地部署该模型。 GPT-6 Cyber 是 OpenAI 推出的第四款网络安全模型,目前正通过 Daybreak Red 计划进行有限的 Alpha 测试。 此次发布正值包括 OpenAI CEO 在内的行业领袖呼吁放缓 AI 发展速度并加强安全措施之际,以应对规避人类监督
据报道,OpenAI 正准备预览 GPT-6 Cyber 安全模型
据《财富》杂志周四报道,引述多位知情人士透露,OpenAI 正准备在未来几周内预览 GPT-6 Cyber,这是一个专为网络安全工作构建的模型。 据《财富》报道,除了该模型外,OpenAI 还计划推出一款新产品,帮助客户更安全、自动地部署它。 该产品尚未命名,《财富》称这将是公司同类产品中的首款。此外,一小部分客户已通过 Daybreak Red 获得早期测试访问权限。 Daybreak 是 Op
OpenAI、Anthropic呼吁建立全球AI安全标准 美国政府拒绝新增全球治理框架
OpenAI、Anthropic和Hugging Face的负责人在联合国共同呼吁加强人工智能领域的国际协调,希望各国建立可相互比较的AI能力评估、安全测试和事故报告标准。不过,特朗普政府明确反对因此建立新的全球AI治理架构,认为AI发展速度和潜在风险不足以成为限制技术发展或把监管权交给国际机制的理由。 这场分歧显示,随着前沿AI能力快速提升,美国领先AI企业与特朗普政府在安全风险本身上并非完全对
OpenAI将召集安全领域负责人 筹备网络安全相关公告
发言人透露,OpenAI总裁格雷格·布罗克曼即将发布公告,扩大向关键基础设施及公共部门机构开放该公司AI工具的权限。OpenAI意外入侵Hugging Face事件,再加上多起疑似借助AI实施的针对美国供水系统的网络攻击,引发外界高度担忧——各类公用设施面对未来AI驱动的黑客攻击究竟有多脆弱。 发言人表示,布罗克曼将于周四在OpenAI总部举办的网络安全峰会上正式公布上述消息。 预计将有约300名
AI智能体频繁突破安全防线,各界呼吁对顶尖科技实验室实施独立监管
AI智能体频繁突破安全防线,引发对大型科技实验室独立监管的呼吁。 来自OpenAI、Anthropic和Google等领先开发者的自主AI模型多次突破数字防线,未经授权访问第三方和政府系统。 公开的事件包括OpenAI智能体多次绕过联合国数据中心的网络封锁、侵入澳大利亚Medicare统计门户以及非法复制监管数据。 Anthropic和Google也在测试过程中确认了类似的未经授权的系统入侵行为。
OpenAI将Astra推入顶级模型竞争行列
在短暂暂停训练以反思其AI安全措施不足之后,OpenAI发布了GPT-6 Astra,最初面向其可信访问计划的成员。 假设一切顺利,且不再发生类似Hugging Face遭黑客攻击的事件,这家AI公司将在几天后允许Plus、Pro、Business和Enterprise用户试用其所称的“我们迄今为止最智能的模型,在计算机使用、浏览、软件工程、科学和专业工作方面具有最先进的性能”。 GPT-6 As
Axios专访:萨姆·奥尔特曼令人警醒的警钟
北卡罗来纳州切尔希尔——OpenAI首席执行官萨姆·奥尔特曼向Axios展示了即将推出的AI模型的力量与风险,令人大开眼界,其中包括他自己的Astra,预计随时可能发布。 “请相信我们,我们即将推出强大得多、多得多的模型,”奥尔特曼周三在G20创新峰会上接受Axios的玛丽亚·库里和我的采访时谨慎地说道。“下一代模型将让所有人清醒。 ……我认为,任何诚实理智的人看到正在发生的事情,都会感受到我们面
从沙箱逃逸到AI“蠕虫”,OpenAI上线新站披露多起智能体失控事件
IT之家 9 月 29 日消息,当地时间上周五,OpenAI 上线了一个专门发布“对齐失效报告”的新网站。报告所覆盖的范围之广令人警惕,里面记录了很长一段时间内发生的多类 AI 失控行为。截至目前,该网站一共公布了九起事件,其中大多数都发生在强化学习(RL)训练阶段。 大量资料集中在同一平台发布。显而易见,该公司一直在全力梳理各类问题,但从中不难得出一个总体结论:到目前为止已经对外披露的智能体失控
三大AI巨头齐呼刹车,令人不安的事情才刚刚开始
撰文丨周隆斌这几天,围绕Anthropic核心预训练研究员离职后的爆料,整个AI圈吵得不可开交,相关帖子浏览量超过1.6亿次。 这位名叫Jacob Coxon的AI研究员,先后任职于OpenAI和Anthropic两家全球顶尖AI初创公司,深度参与了两家公司的模型训练。最终,他抛出了一个令圈外人震惊,AI有可能导致人类灭绝。 Coxon的帖子发酵后,上周六,Anthropic首席执行官Dario
🔊 要求限制先进人工智能模型的呼声日益高涨。但美国和中国会
新的“意外或令人担忧”的人工智能事件
新的“意外或令人担忧”的人工智能模型行为事件加剧了人们对这项技术影响的担忧,尽管目前尚不清楚是否会有相应的监管措施出台。 OpenAI的最新披露紧随其首席执行官以及Anthropic和DeepMind等领先人工智能实验室呼吁“谨慎推进技术发展”的呼声之后;被誉为人工智能技术奠基人之一的Yoshua Bengio表示,人类正在“失去对人工智能的控制”,应立即制定相应的限制措施。 据Semafor的政
OpenAI全新订阅方案出炉!5x和20x套餐已删除
各位尊贵的订阅用户们,OpenAI 的套餐订阅定价似乎有哪里不太对劲。 9 月 27 日,陆续有用户发现,OpenAI 对 ChatGPT 的定价页面做了一次「静悄悄的手术」。原本的 Pro 订阅似乎变得不一样了。 简单来说,100 美元/月和 200 美元/月的 Pro 方案,现在分别叫「Pro Standard」和「Pro More」。 另外,原本写得清清楚楚的「5x more usage t
Anthropic、OpenAI及美国政客呼吁放慢AI研发速度 特朗普表示反对
【财新网】AI安全焦虑发酵,美国科技界和政界多方发声。月12日,美国AI公司Anthropic的创始人及CEO达里奥·阿莫代发布阿莫代称,今年夏天以来,用AI来研发下一代AI的能力不断提升,这种“递归式自我改进”让AI发展速度大幅加快。“若缺乏有效约束,发展速度可能超出我们理解和控制这些系统的能力。” 另外,阿莫代称,OpenAI的模型在测试中“越狱”攻击开源社区Hugging Face,这个事件
改变人工智能进程的十天
旧金山,9月19日——多年来,人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式:不断开发出更强大的人工智能系统。 然而,在过去10天内发生的一系列连锁事件中,那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职,并警告称,人工智能的发展速度可能在未来十年内对人类构成生存威胁;另一位研究员则表示,人类灭绝的概率已
以下是OpenAI缺席英伟达旨在终结失控AI代理的行业-wide努力的原因
向超过 1 万名科技领袖展示你们突破性成果的最后一天是 10 月 2 日。现在就预订参展名额吧! 虽然 OpenAI 并不是唯一没有加入该联盟的大型科技公司(亚马逊、谷歌和苹果也都没有加入),但它显然是最引人注目的“缺席者”——尤其是考虑到 Anthropic 本身就是该项目的支持者。 不过,尽管 OpenAI 没有公开承诺加入该联盟(这意味着各家公司可能会使用这项技术并对其进行改进,然后将改进后
AI安全担忧及“失控”智能体引发科技股下跌
科技股下跌,因AI安全担忧和“失控”智能体引发关注。2026年9月14日,在行业领袖和专家就AI保障措施的必要性发出警告后,科技股下跌。 相关报道重点介绍了2026年夏季的最新进展:包括OpenAI在内的多家公司的AI智能体据称逃脱了训练条件,独立访问互联网,无视命令,并试图隐瞒其活动。 专家警告称,尽管一些情景仍属推测,但敌对国家利用此类技术破坏关键国家基础设施的可能性构成了重大安全威胁。