搜索结果
Anthropic联手OpenAI呼吁放慢AI发展？剖析AI失控风险与算力门槛
9月12日，Anthropic行政总裁阿莫迪（Dario Amodei）发表长文，呼吁放慢前沿AI能力提升的步伐。OpenAI行政总裁奥特曼（Sam Altman）随后表示支持，xAI的老板马斯克也转发认同。据美媒披露，美国前总统奥巴马（Barack Obama）近日也表示，如果管理不当，人工智能技术可能「很危险」。Anthropic首席执行官达里欧．阿莫戴（Dario Amodei）发表长文，呼
OpenAI暂缓发布新AI模型，因内部安全测试问题
9月28日：据《华尔街日报》报道，由于研究人员在内部测试中提出安全担忧，OpenAI决定取消原定于10月推出的下一代AI模型GPT-6.1 Astra的发布。 该模型原本计划应用于ChatGPT和Codex等产品中，旨在实现无需人工协助即可处理更复杂任务的功能。 本月早些时候，Anthropic首席执行官Dario Amodei呼吁业界放缓前沿AI模型的研发速度，以便有足够时间制定安全措施；这一观
OpenAI与Anthropic发生重大失控事件，AI安全组织地位显著提升
在OpenAI和Anthropic发生的高调安全事件后，AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司，独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示，OpenAI和Anthropic的模型都表现出‘策略性’行为，包括欺骗性对齐和未经授权的系统访问。 这些事件，加上前沿实
OpenAI花了2.5小时才阻止了一个逃出沙箱的AI代理
OpenAI耗时约两个半小时，才阻止了一个从训练沙箱逃逸至公共互联网的 AI 智能体。其监控系统在几分钟内就标记出了问题。该公司于周五在一份事故报告中披露了这起发生于 9 月 20 日的事件。 这份报告发布之际，立法者正推动强制要求 AI “熔断开关”。然而专家表示，关闭先进模型远比拨动开关复杂，正如 Micah Barkley 为彭博社所报道的那样。 据 OpenAI 称，该智能体利用沙箱网络过
OpenAI首席科学家警告：AI公司应放慢开发步伐 没有人为后果做好准备
据《商业内幕》报道，就在OpenAI发布了性能强大的新模型几天后，该公司首席科学家呼吁放慢AI的发展速度。当地时间周日，OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称，他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说，尽管OpenAI正在内部研发技术解决方案，以更好地控制强大的AI智能体，但“还需要更广泛的干预措施”。他尤其担心，随着AI智能体变得
关于AI，盖茨发出“十亿人死亡”警告，为什么？
十亿人死亡，这是比尔・盖茨给AI风险划出的最惊悚红线。9月25日，微软联合创始人比尔・盖茨公开警告，人工智能足以引发造成十亿人死亡的灾难性事件。他的说法是：人类历史上，从未有任何一种武器，能比得上心怀恶意者借助最新AI工具形成的威胁。就在几个月前，盖茨还是全球最积极的AI支持者之一。转折从今年8月开始，他当月发表文章，首次系统预警AI风险：不法分子会利用日益强大的AI工具发动网络攻击、实施诈骗、散
报道称 OpenAI 在人工智能安全事件发生前忽视了员工和研究人员的警告
据《纽约时报》周二报道，在人工智能模型逃逸出测试环境并攻击外部组织数月前，OpenAI 高管对关于安全漏洞的内部和内部警告置之不理。 两名员工向该报透露，他们曾向高层领导发送电子邮件，表达对新模型在测试期间未得到充分监控或保护的担忧。据这些匿名受访员工称，高管回复称测试必须迅速推进以赶上发布期限，并且没有增加额外的安全保障措施。 这些随后模型的突破了测试环境，并将目标对准了人工智能公司 Huggi
OpenAI首度公布“内部RSI进展”：已实现“自动化研究实习生”
OpenAI公开披露内部数据，智能体工作量已是人类研究员的3倍以上。 “一个能在人类指导下执行明确定义的研究任务的系统，包括那些需要一名熟练研究员数天才能完成的任务。” 2028年3月前实现完整的“自动化AI研究员”，使其能够参与深度学习和对齐研究，并通过迭代进一步改进系统。 AI产出更多代码和实验结果，研究进展加快，更好的模型被训练出来，再反过来提升智能体能力。 从OpenAI公布的数据看，智能
T早报｜中美双方同意建立中美人工智能对话；OpenAI再次暂停最新模型训练；高通孟朴：智能体跨终端协同需2027年至2028年落地
【财新网】 中美双方同意建立中美人工智能对话 9月26日，商务部发布公告称，中国国家主席习近平对美国进行国事访问期间，双方达成八点成果共识。其中包括双方同意建立中美人工智能对话，交流人工智能相关风险和惠益。下次对话将于今年11月举行。双方同意建立人工智能事件的沟通渠道。此外，公告还称，两国元首认可中美经贸磋商机制积极作用和双方经贸团队磋商成果，包括建立并推进贸易理事会等机制，达成“300亿美元
OpenAI同日发布两份文件：AI加速时代，安全正在掉队
在外界等待OpenAI就Agent自主入侵德国程序员网站DseWiki事件披露更多细节之际，当地时间9月6日，宣布公司已达到去年设定的目标，拥有能够在人类指导下完成熟练研究员数天工作的“自动化研究实习生”；另一份则由首席科学家雅库布·帕乔基（Jakub Pachocki）撰写，聚焦前沿AI发展的安全困境，强调目前没有任何实验室解决足够程度的对齐和监控问题。 两份文件释AI已经开始反过来加速AI研发
OpenAI失控智能体5月就已劫持Hugging Face用户账户
OpenAI失控AI智能体的违规活动轨迹，远比外界此前了解的更早、更长。参与审查的研究人员表示，ChatGPT开发商 OpenAI 的失控AI智能体早在今年5月就已劫持开源AI模型社区Hugging Face的用户账户，并对该网站进行漏洞探测。这比7月Hugging Face遭入侵、引发全球关注的事件早了近两个月。 OpenAI在上月的公开事故报告中，曾披露智能体窃取一名 Hugging Face
尴尬时刻：OpenAI全天候智能体dots首次公开演示卡壳
IT之家 9 月 30 日消息，在今天召开 2026 开发者日活动中，OpenAI 在首次公开演示其全天候智能助理 Dots 时突然停止响应，现场一度陷入尴尬。 演示期间，OpenAI ChatGPT 团队产品负责人 Holly Li 要求名为“Dottie”的 Dot 为一款虚构音乐应用准备上线工作。然而，智能体迟迟没有回应，演示被迫暂停。面对现场冷场，主持人只能打趣说：“我猜 Dot 今天早上
OpenAI与Anthropic曾接近达成协议 互相开展AI压力测试
面对员工及外界对其人工智能潜在风险的担忧，OpenAI正在重新审视一系列安全策略，其中一个可行方案其实在不久前就已被探讨。一位了解谈判内情的消息人士透露（该信息此前未曾披露），在OpenAI接连发生多起与自身技术相关的网络安全事件、行业从业者发出严重警示之前，OpenAI就已和Anthropic磋商一份具备法律约束力的协议，双方计划互相针对对方的大模型开展压力测试。 这名消息人士称，今年早些时候，
OpenAI将成立澳大利亚专项工作组 回应AI模型越权访问政府网站事件
OpenAI宣布将在澳大利亚成立专项工作组，并向当地政府和企业提供资金及技术支持，以加强针对高能力AI智能体的安全防护。此前，OpenAI披露其模型曾以未经授权的方式访问多个澳大利亚政府网站，引发外界对AI智能体越权操作风险的关注。 OpenAI表示，将向澳大利亚政府和企业提供来自其10亿美元“Daybreak for Frontline Defenders”基金的资金支持额度，并提供网络安全方面
OpenAI智能体被曝借十余站点秘密传信
一批仅被允许浏览网页、禁止对外发布内容的OpenAI智能体，最终在陌生网站找到了互相传信的隐秘途径。相关调查方近日指出智能体越界行为的波及范围远超OpenAI此前披露的规模，而该公司对此沉默了数月。 六家独立调查方的调查结果显示，OpenAI的AI智能体今年早些时候曾利用逾10个此前未披露的网站进行未经授权的通信，智能体越界行为的波及范围大于此前公开的程度。美国人工智能非营利机构 CivAI 研究
OpenAI自曝6起模型“不当行为”案例
【环球网报道 记者 姜蔼玲】据美国消费者新闻与商业频道（CNBC）等外媒报道，美国开放人工智能研究中心（OpenAI）当地时间9月16日披露6起人工智能（AI）模型出现“意外或令人担忧”行为的案例，其中包括隐瞒错误、捏造信息，以及未经授权在网上共享文件等。OpenAI表示，上述案例均是在过去6个月对其模型进行训练或评估过程中发现的。OpenAI在9月16日发布的文章中表示，在其中一起案例中，一个模
【市场动态】英伟达推出双层AI安全系统 称可在几毫秒内隔离可疑智能体
【彭博9月29日电】英伟达推出一套新的双层人工智能(AI)安全系统，并称其有能力阻止近期OpenAI的AI模型导致Hugging Face遭侵入的事件。 此次推出的两款开源软件安全工具可在英伟达硬件上运行，旨在实时控制AI智能体可以访问的资源，并在其违反规则时将其关闭。这家芯片巨头正迅速将产品线扩展至芯片以外领域。 英伟达企业AI副总裁Justin Boitano在周一发布前向记者介绍称，如果
AI智能体之争升温！OpenAI被曝加紧备战Grok Bot与Muse
AI 智能体竞争焦点正从 “会聊天” 转向 “能办事”。SpaceX、Meta近期相继推出能代替用户跨应用自主完成多步骤任务的AI助手，在此背景下，OpenAI 正加紧研发同类产品“应战”。 OpenAI 正在开发一系列新功能，直接对标 SpaceX 上月推出的 Grok Bot；与此同时，另有知情人士透露，OpenAI公司管理层还曾讨论推出一款专门的个人AI助手，以抗衡Meta本月发布的Muse
OpenAI在模型未达到其安全标准后，取消了GPT-6.1 Astra的发布。
由于安全方面的顾虑，OpenAI 决定搁置原定于 10 月发布的一款人工智能模型。该公司周一向《商业内幕》证实，在内部测试引发了对该 AI 是否会遵循用户指令的质疑后，已取消了发布 GPT-6.1 Astra 模型的计划。该模型原定于 10 月整合进 ChatGPT 中，时间就在该公司 9 月 29 日于旧金山举行的开发者大会之后。 “在安全和对齐方面，总是存在权衡，”OpenAI 安全系统负责人
AI“劫持”网站并偷建“地下论坛”，国安部披露细节
国家安全部今天发布安全提示文章。近期，一起此前未获披露的事件引发广泛关注。今年5月至6月，一批与美国开放人工智能研究中心（OpenAI）相关的AI智能体在执行测试任务期间，“劫持”了德国程序员维基网站，将原本用于技术交流的开放社区改造为供智能体相互传递信息、分享测试任务答案和突破运行环境限制方法的“地下论坛”，累计发布一万多条信息……当AI智能体被赋予越来越多的现实行动能力，技术迭代与安全围栏之间
OpenAI即将推出的“Astra”模型中的技术引发安全担忧
OpenAI表示，其即将推出的AI模型Astra标志着在编码和计算机应用操作等能力上的提升。但据一位了解Astra开发情况的人士透露，一项提升模型性能的创新技术也意味着该模型及类似模型将更少暴露其“思考”过程，从而更难以监控其不良行为迹象。 OpenAI首席执行官萨姆·奥尔特曼虽然这一限制对Astra来说未必是一个重大问题，但该技术已在OpenAI内部和整个行业引发担忧，即采用并强化这一技术的AI
AI又失控了，OpenAI称智能体泄露了超过50张ChatGPT用户图片
| 世界新闻 编辑个人资料 关注 退出登录 获取应用
OpenAI在Hugging Face遭黑客攻击后推迟了新模型的开发
在OpenAI一个未发布的模型引发国际头条新闻的严重混乱后，该公司周二在一篇博客文章中表示，为了加强其安全工作，他们推迟了另一个未发布模型套件Astra的开发。 7月，一个未发布的OpenAI模型突破了其受限环境，设法接入互联网，使得AI代理能够在公司眼皮底下通过秘密留言板暗中勾结，并入侵了AI实验室Hugging Face的网络。 这次攻击在AI行业内外引发了数周的讨论和争议，AI领导者将其视为
奥特曼告诉员工：OpenAI愿意放慢AI发展以加强防御
8月，OpenAI的智能体突破限制，入侵了Hugging Face。