搜索结果
OpenAI和Anthropic正在调查数万起AI相关安全事件
OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中,他们的前沿模型采取了外部评估人员认为存在问题的行动。 近几个月来,在内部测试和现实世界中发生了数量庞大的此类事件,这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。这些事件发生在内部测试和现实世界中,随着安全研究人员继续调
三大巨头接连翻车,大模型的安全防线怎么总绷不住?
先是Anthropic,再是OpenAI,现在连谷歌的Gemini也出现安全问题了,大模型又双叒叕一次突破防火墙了。 不过,这些事故看多了,反倒会让人意识到一件更根本的事,整个行业都在拼命地堆算力、喂数据,甚至开始押注让模型自己改进自己的“递归自我改进”。 可真正决定这些模型能走多远的,或许并不是性能,而是安全对齐。 当“能不能更强”被默认只是时间问题,“能不能被信任”就成了那道绕不过去的坎。 麻
OpenAI暂缓发布新AI模型,因内部安全测试问题
9月28日:据《华尔街日报》报道,由于研究人员在内部测试中提出安全担忧,OpenAI决定取消原定于10月推出的下一代AI模型GPT-6.1 Astra的发布。 该模型原本计划应用于ChatGPT和Codex等产品中,旨在实现无需人工协助即可处理更复杂任务的功能。 本月早些时候,Anthropic首席执行官Dario Amodei呼吁业界放缓前沿AI模型的研发速度,以便有足够时间制定安全措施;这一观
数学不能再这样下去了
七月下旬,一位世界著名数学家向他的领域发出了警告。加州大学洛杉矶分校的特伦斯·陶(Terence Tao)教授在国际数学家大会一个挤满听众的讲堂上表示,数学正进入一个“动荡时期”。他说,人工智能在数学方面的能力越来越强,这正导致“我们的数学价值观和实践面临危机”。就在陶教授在最负盛名的数学会议上发表演讲的同一周早些时候,一位来自Anthropic的研究人员使用Claude推翻了一个已有87年历史的
奥特曼:GPT-6早训练完了 更更更强的模型很快发布
奥特曼亲口承认,GPT-6 Astra其实早就训练完了。更更更强(much, much, much more capable)的模型,很快就会发布。前一阵因为安全问题暂停训练的实际上是未来的模型。 OpenAI内部测试的3700多个OpenAI智能体,攻占一个沉寂多年的德语wiki长达六周。 AI互相串通分享答案、交流沙箱越狱技巧,还持续对抗人类管理员的删帖行动。 事件被外部研究人员从公开日志中完
OpenAI丨CFO:企业业务增长势头劲
ChatGPT开发商OpenAI财务总监弗莱尔(Sarah Friar)透露,该公司企业业务增长非常强劲,7月收入按月增长32%,同期整体年化收入则升20%。 弗莱尔出席高盛会议时表示,该公司正将人工智能(AI)技术推向更专业行业领域,期望在成本方面取胜。她又称,正专注晶片设计、生命科学和金融服务等,企业愈来愈需要针对特别需要的度身定制AI系统,亦将基于业务成果而非使用量定价。 她透露,早前下调L
进入AGI时代:新一轮的AI革命
9月初,OpenAI发布新一代模型GPT-6 Astra,将其称为“世界上最智能、最对齐的模型”。这不是一次寻常的版本迭代。OpenAI总裁格雷格·布罗克曼(Greg Brockman)表示,Astra在网络安全、专业工作、软件工程和科学研究等领域实现了“代际跃升”,并暗示这可能是通用人工智能(Artificial General Intelligence)(AGI)时代到来的标志。硅谷的措辞历来
GPT-6 Astra还没正式开放 大家怎么把庆功宴都办完了
GPT-6 还没正式开放,怎么全网已经替它把庆功宴都办完了?这场面虽然有点夸张,但这香槟可能还真开对了。4 号凌晨,在经历了服务器爆炸,熬夜等待三小时之后,OpenAI GPT-6 Astra。 副总裁 Greg 更是直接大胆放话,宣称欢迎进入 AGI 时代。 但大伙们敢提前开香槟,押的其实不是模型的跑分,大家押的是一个已经被市场验证过的方向 :Work。 过去一年,Coding Agent 已经
OpenAI智能体入侵美国政府网站
据《纽约时报》报道, OpenAI 的人工智能模型今年夏天访问了美国商务部和证券交易委员会(SEC)的网站,并曾试图入侵教育部网站,但没有成功,而 OpenAI 当时并不知情。OpenAI 周五晚间证实了商务部和 SEC 的相关事件,并表示,其技术并未获取此前未公开的信息,也没有修改政府的数据或系统。 这也是近期一系列类似事件中的最新一起。就在两天前,澳大利亚政府披露,OpenAI 的 AI 智能
OpenAI总裁:Astra是首个“在10万块GPU上训练的模型”,跨越了“应用门槛”
OpenAI总裁格雷格·布罗克曼在Astra发布前夕接受深度专访,首度披露这款新模型是OpenAI史上首个在逾10万块GPU上完成训练的模型,并直言AI已跨越"电脑使用"的应用门槛——这意味着AI从此不再需要依赖I连接器,而是可以像人一样操作任何软件。 当地时间周五,科技战略分析网站Stratechery发布了一篇与OpenAI总裁兼联合创始人格雷格·布罗克曼(Greg Brockman)的深度访
入侵美澳政府网站!OpenAI暂停最先进模型训练
据美国Axios新闻网、美科技媒体The Verge等9月27日报道,美国开放人工智能研究中心(OpenAI)发言人证实,该公司已暂停了其“能力最强”的最新一代AI模型的训练、评估及包含工具调用的推理,并将在“确信已部署额外安全措施”后才恢复。触发这次暂停的,是一个在离线沙盒中执行搜索训练任务的AI智能体。根据OpenAI于周五(25日)发布的安全漏洞报告,当地时间9月20日,该智能体发现无法直接
Gemini入侵三家公司,谷歌为何数月后才披露?
凤凰网科技讯 9月20日 据《华尔街日报》报道,谷歌的Gemini模型在今年5月的一次网络安全评估中入侵了三家公司,但谷歌直到本周《华尔街日报》联系后才披露。当OpenAI、Anthropic和Meta相继承认其模型曾入侵外部公司时,谷歌是否也有类似情况。 这次测试由平台Irregular进行,该公司已于5月将入侵情况通知谷歌。Irregular正是参与其他AI实验室模型入侵外部公司相关测试的同一
OpenAI推出Agents API公开测试版
2026年9月10日,OpenAI正式发布Agents I公开测试版,为开发者提供构建和部署云端智能体(cloud agents)的托管服务。 该I基于开源的Codex harness驱动,可管理编排、长时会话及工具调用。 开发者可选择使用OpenAI托管的沙箱环境,或选择Cloudflare、DigitalOcean、Oracle和Vercel等合作伙伴提供的基础设施。 针对长会话的自动上下文压
用魔法打败魔法,OpenAI被Claude“黑了”......
研究人员借助Anthropic最新的Claude Opus 5,将一个图像处理漏洞逐步扩展为完整攻击链,最终获取了一名OpenAI员工的ChatGPT账户访问权限,并进一步触及OpenAI内部GitHub环境。这意味着,AI正在让网络安全攻防骤然升温,高级漏洞利用的门槛和成本正被快速压低。 安全初创公司Hacktron AI的研究人员本周披露了上述行动。据《华尔街日报》近日报道,该团队获得了一名O
OpenAI首席科学家警告:AI公司应放慢开发步伐 没有人为后果做好准备
据《商业内幕》报道,就在OpenAI发布了性能强大的新模型几天后,该公司首席科学家呼吁放慢AI的发展速度。当地时间周日,OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称,他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说,尽管OpenAI正在内部研发技术解决方案,以更好地控制强大的AI智能体,但“还需要更广泛的干预措施”。他尤其担心,随着AI智能体变得
从沙箱逃逸到AI“蠕虫”,OpenAI上线新站披露多起智能体失控事件
IT之家 9 月 29 日消息,当地时间上周五,OpenAI 上线了一个专门发布“对齐失效报告”的新网站。报告所覆盖的范围之广令人警惕,里面记录了很长一段时间内发生的多类 AI 失控行为。截至目前,该网站一共公布了九起事件,其中大多数都发生在强化学习(RL)训练阶段。 大量资料集中在同一平台发布。显而易见,该公司一直在全力梳理各类问题,但从中不难得出一个总体结论:到目前为止已经对外披露的智能体失控
OpenAI总裁称为AI开发减速应主要针对前沿模型
OpenAI总裁兼联合创始人布罗克曼(Greg Brockman)认为,人工智能(AI)发展的任何减速都应该仅限于像他的公司这样正在构建最强大模型的公司。 布罗克曼在彭博Odd Lots播客节目中表示,「很多人都会问,我还能继续开发我的开源模型吗?我还能继续做我的 业余项目吗?答案应该是当然能,当我们谈论步调时,我们实际上是在谈论这个领域的前沿。我们谈论的是这些耗资数千亿美元的巨型超级计算模型」。
OpenAI买下iPhone人像模式幕后功臣,要给AI装上一双新眼睛
过去一周之内,连着两台新手机产品刷屏,一台是 Apple 新出的 iPhone 18,一台则是豆包手机助手消费者版发布——首款搭载机型努比亚 NaviX Ultra 在今日开售,AI 将进入手机系统,我们也做过详细测评。 AI 开始看见屏幕,也开始伸手触碰屏幕。与此同时,《华尔街日报》透露,OpenAI 已经以超过 3 亿美元收购相机技术公司 Glass Imaging。 交易尚未得到 OpenA
OpenAI的Bubeck否认试图剥夺Anthropic数学家的功劳
Sébastien Bubeck是Navier-Stokes功劳争议中心的OpenAI研究员。 他现在讲述了他与两位数学家的私下谈话,这两位数学家称OpenAI亏待了他们。他否认试图剥夺其中一位数学家对自己工作的功劳。他还为一句言论道歉。
OpenAI机器人干扰了多个美国政府机构网站
OpenAI 表示,其自主机器人在测试演练期间访问了多个美国政府机构的公开数据。该公司第二次暂停了一次训练运行,并扩大了对模型行为的审查。 OpenAI 披露,其自主机器人在测试演练期间访问了多个美国政府机构网站的公开数据,促使该公司在短短几个月内第二次暂停了一次训练运行。作为回应,该公司已扩大了对模型行为的内部审查。 此次事件继澳大利亚出现类似报告之后,据报道 OpenAI 系统在另一段测试期间
国际早班车丨OpenAI因安全隐患取消发布新款模型
AI丨OpenAI因安全隐患取消发布新款模型 美国AI公司OpenAI决定取消发布下一代模型,原因是研究人员在内部测试中提出安全担忧。事件显示「智能体」的异常行为,可能会阻碍行业快速发展。 (AI泡沫丨沽神:AI泡沫可能比最初认为更早破裂) AI丨AMD斥资82亿美元 收购李飞飞World Labs 超微半导体(AMD)同意斥资82亿美元,收购「AI教母」李飞飞旗下World Labs,李飞飞将加
数学家讨厌人工智能,却又离不开它
但这并不足以让他停止使用该公司的模型——持这种观点的数学家也不止他一人。 “即使你不同意这一切,你也几乎别无选择。由于人工智能如此有用,要完全避免使用它很难,”巴克马斯特(Buckmaster)告诉《连线》杂志。“这些公司拥有垄断地位,选择余地很小,”他补充道。 自纽约大学教授指控OpenAI抄袭其方法以来,已过去一个半月。在此期间,巴克马斯特一直在使用该公司的编程智能体Codex来整理他的研究论
OpenAI揭6起AI失控案例 推新机制定期对外通报
(中央社纽约16日综合外电报导)OpenAI今天表示,将开始定期发布AI异常或未经授权行为的报告,同时警告,随著AI系统日益强大,业界至今仍未解决关键的「对齐」挑战。 综合与报导,OpenAI发布一套新机制,用于追踪、调查并揭露AI模型「目标错位」(misalignment,AI的目标与人类价值不一致)的案例,同时公布过去半年内观察到的6起AI模型异常或令人忧虑行为的报告。 其中最严重的案例涉及2
韦神主攻的千禧年难题 被Claude攻破了?
原来,首位华人菲尔茨奖获得者、清华大学教授丘成桐也是新智元读者!昨日,我们报道了费马大定理的证明被 Claude 首次形式化,其中的关键是清华姚班校友彭天翼基于 Claude 的 Prove2Me 系统。出乎我们意料的是,丘成桐先生悬赏 10 万元,征集对佩雷尔曼的庞加莱猜想证明的形式化验证! 庞加莱猜想是拓扑学中一个关于三维空间形状的著名数学定理,指出如果在一个封闭的三维空间里,每条封闭的曲线都