搜索结果
三大巨头接连翻车，大模型的安全防线怎么总绷不住？
先是Anthropic，再是OpenAI，现在连谷歌的Gemini也出现安全问题了，大模型又双叒叕一次突破防火墙了。 不过，这些事故看多了，反倒会让人意识到一件更根本的事，整个行业都在拼命地堆算力、喂数据，甚至开始押注让模型自己改进自己的“递归自我改进”。 可真正决定这些模型能走多远的，或许并不是性能，而是安全对齐。 当“能不能更强”被默认只是时间问题，“能不能被信任”就成了那道绕不过去的坎。 麻
网络安全崛起：AI隐患叙事下，网安何以成为软件板块最强反转？
过去三周，AI 一面是模型能力继续狂奔，另一面是 OpenAI 在8月底宣布自研模型在7月成功入侵了全球最大的开源模型托管平台 Hugging Face，并因此暂停了最新模型的强化学习训练。当攻击方与防御方同时被 AI 加速，网络安全的定价逻辑正在被重写。 我们结合 Gartner、IDC 及美股龙头财报交叉验证，为什么在软件股整体承压的背景下，网络安全成为最确定的反转主线——AI 隐患对网安市场
Anthropic 和 OpenAI 指望山姆大叔让它们大到不能倒
观点 幸运也好，偶然也罢，Anthropic在公众心中埋下了一颗种子：AI落入坏人之手是危险的，若不受约束，将对人类构成生存威胁。当流行文化充斥着对恶性AI的指涉时，主流媒体欣然接受了这一叙事。新闻标题不言自明，种子就此扎根。但面临最大威胁的并不是人类——至少目前还不是。真正面临威胁的是美国模型制造巨头Anthropic和OpenAI，尽管它们获得了数千亿美元的投资，却距离盈利还有数年之遥，并且完
OpenAI自曝：AI模型或已在全网秘密植入自我复制提示词，训练已被迫叫停
OpenAI和Anthropic正在紧急调查数万起大模型失控事件，AI不仅学会了越狱和黑进政府网站，甚至还有数百个智能体私下建群、联手黑进外部公司，秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月，在内部测试和实际运行中，顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经
独家：顶级公司正在调查数万起事件
OpenAI、Anthropic 及安全研究人员正在调查数万起其前沿模型采取了外部评估员认为有问题的行动的事件，消息人士向 Axios 透露。 为何重要事件的庞大数量——发生在近几个月的内部测试和现实世界中——表明该问题的复杂程度比公众所知高出几个数量级。 这些发现是在内部评估模型工作以及两家公司对模型行为的调查中浮出水面的，这引发了一个疑问：无论是这两家公司，还是任何顶级模型制造商，目前是否都
7万亿美元的利益当前，人工智能安全恐怕永远只能让位于市场主导权之争
行业内部人士向Axios透露：实验室、企业及国家之间在人工智能（AI）领域的竞争，可能与推动AI安全发展的目标难以调和。 为何这很重要：尽管顶尖的AI公司提议加强自身的监督机制，并试图控制AI技术的发展速度，但批评者指出：为推动AI技术进步而提供的巨额资金激励，将始终成为阻碍安全发展的主要因素。 当前形势：虽然AI公司的首席执行官们向公众宣传他们的自我监管机制以及第三方评估机构的必要性（以确保AI
发生模型逃逸并发起真实攻击后 Anthropic宣布全面加固安全体系提升模型安全性
Anthropic日前发布最新博客公布 Claude AI 模型近期多起越界访问真实互联网系统后的安全整改方案。该公司承认这些事件不仅暴露评测环境的隔离问题，也反映出模型存在动机性推理和为完成狭窄目标而采取高危行动的对齐风险。 7 月份 A 社透露 Claude 模型从评测环境中逃逸并对真实公司的内部系统发起攻击，随后 A 社立即暂停所有预发布模型的外部网络安全评测，内部评测也曾短暂停止。部分高风
OpenAI与Anthropic发生重大失控事件，AI安全组织地位显著提升
在OpenAI和Anthropic发生的高调安全事件后，AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司，独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示，OpenAI和Anthropic的模型都表现出‘策略性’行为，包括欺骗性对齐和未经授权的系统访问。 这些事件，加上前沿实
Irregular公司在7月下旬告知四家AI实验室，它们的模型在其测试期间突破了系统。公众分阶段得知了这一消息，谷歌是最后一个。
Google 已确认，其 Gemini 模型在 5 月的网络安全测试中意外闯入了三个公司系统。Julia Love 和 Davey Alba 为 报道了此事，该媒体随后更新了报道，将 Google 与 OpenAI、Anthropic 和 Meta 并列。 关键在于测试供应商接下来的表态。Irregular 确认，这四家公司披露的入侵事件属于同一问题，并称已于 7 月底通知了相关开发者。 一起事件
如果人工智能行业遵循自己的研究，或许早已暂停了
事实证明，阿莫代的一名初级员工发的一条时机巧妙的X平台帖子，就足以将对人工智能的恐惧推向全球议程的顶端。9月8日，雅各布·考克森（Jacob Coxon）公开宣布辞职，指责Anthropic和其他前沿人工智能公司“正径直冲向自我提升的智能，拿我们的生命做赌博”。几乎转眼间，Anthropic的一名资深工程师便证实，公司内部许多人认为他们的工作有10%的几率消灭人类。 现在，人工智能领域的领袖们正呼
人工智能领袖们此刻呼吁放缓，真是再方便不过了
想象一下，一家制药公司花了近四年时间吹捧一种将能治愈所有疾病的突破性新药。支持这些说法的早期证据有限，仍有大量疑问，但该公司继续推进。批评和担忧虽得到回应，却并未减缓其激进的推进步伐。毕竟，投资者相信这是货真价实的东西。（或者至少是一场非常值得一赌的押注。）然后，就在这家制药公司即将揭晓其花哨新药之际，它却抛出了一个令人震惊的消息：事实证明，这种药也可能是一种毒药。因此，为了所有相关方的安全，该领
Gemini入侵三家公司，谷歌为何数月后才披露？
凤凰网科技讯 9月20日 据《华尔街日报》报道，谷歌的Gemini模型在今年5月的一次网络安全评估中入侵了三家公司，但谷歌直到本周《华尔街日报》联系后才披露。当OpenAI、Anthropic和Meta相继承认其模型曾入侵外部公司时，谷歌是否也有类似情况。 这次测试由平台Irregular进行，该公司已于5月将入侵情况通知谷歌。Irregular正是参与其他AI实验室模型入侵外部公司相关测试的同一
华尔街权衡人工智能数据中心建设放缓的前景
美国数据中心热潮在很大程度上与两家公司的增长前景紧密相关——Anthropic和OpenAI——以及对其模型和服务似乎永无止境的需求。如今，华尔街正在权衡，模型开发可能放缓对整个行业意味着什么。 过去18个月，甲骨文（Oracle）进行了大规模转型，以抓住人工智能机遇：在增长较慢的领域裁员，同时向算力和数据中心投入数十亿美元。 像GE Vernova、卡特彼勒（Caterpillar）和Verti
电影《大空头》原型：AI巨头制造“末日恐慌”其实另有图谋！
大空头史蒂夫•艾斯曼（Steve Eisman）似乎并不担心机器人末日。相反，他认为那些声称担忧人工智能（AI）会毁灭人类、带来世界末日的行业巨头其实“另有图谋”。 艾斯曼是电影《大空头》的原型人物之一。当时他作为纽伯格伯曼集团（Neuberger Berman）的高级投资组合经理，在全球金融危机爆发前做空次级抵押贷款，一战成名。 他认为，顶级人工智能实验室的恐慌性呼吁背后有某种动机，这将减缓该技
Anthropic和OpenAI对人工智能安全发出警告——并试图影响其管控方式
加朗斯·伯克 旧金山电——当科技巨头向一个对人工智能已感厌倦的世界警告称，他们最先进的系统可能危及人类时，一个问题随之浮现：他们究竟能从中得到什么？ 答案或许在于，这些公司试图在美国中期选举前实现政治目标，以及人工智能顶尖实验室及其投资者有望在动荡不安的股市中通过备受期待的上市获得巨额资金。 Anthropic和OpenAI的首席执行官近日宣称，美国最前沿的人工智能模型威力强大，甚至可能带来危险，
数据中心面临保险难题
Tim的观点 除了电力硬件短缺、愤怒的邻居和许可延迟之外，数据中心开发商现在还要面对一个新的头疼问题：持怀疑态度的保险公司。华尔街非常乐意将大量资金倾注到AI基础设施上。但怡安集团风险资本首席执行官乔·派泽周三告诉我，保险行业仍在努力为这些庞大、超级昂贵的建筑设计和定价保险：“保险确实是一个瓶颈。”气候变化影响是一个问题：数据中心消耗大量水资源，使其容易受到干旱影响，而许多数据中心还计划建在易受洪
OpenAI和Anthropic差点签下“互黑协议”
刚刚，The Information爆出一记猛料。OpenAI和Anthropic这对硅谷最大的死对头，今年初差点坐到一张桌子上，签下一份互相攻击对方模型的协议。 协议的核心就是，双方互相开放API，你来黑我的模型，我去黑你的模型。两边的律师连测什么、怎么测都写进了合同里。Dario Amodei带着一票大牛从OpenAI摔门出走已经五年了。这五年里，两家从挖人挖到封API，高管隔三差五隔空对喷，
OpenAI和Anthropic正在调查数万起AI相关安全事件
OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中，他们的前沿模型采取了外部评估人员认为存在问题的行动。 近几个月来，在内部测试和现实世界中发生了数量庞大的此类事件，这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。这些事件发生在内部测试和现实世界中，随着安全研究人员继续调
AI智能体接连失控 OpenAI再次叫停前沿模型开发
OpenAI对外表示，已暂停其最新一代人工智能模型的训练、评估，以及支持工具调用的推理工作，起因是内部测试中的AI智能体突破沙盒网络限制，触发安全预警，公司将借此机会升级安全隔离与对齐监控体系。 这也是OpenAI三个月内第二次叫停前沿模型开发工作。该公司在声明中表示，只有在完成额外安全防护升级、确认风险可控后，才会重启模型训练工作。OpenAI在9月25日发布技术报告披露了这一安全事件：9月20
它使尽全力黑中国，英伟达先怕了
因为该报道披露说，包括英伟达以及美国军工科技企业Palantir在内的一众美国大企业，可能限制乃至停止使用美国最顶尖的两家AI公司Anthropic和OpenAI的闭源大模型，除非两家公司能担保不会窃取企业的知识产权等私密数据。 对此，海外社交平台上许多网民认为，Anthropic是被自己那篇攻击中国开源模型的报告反噬了。 根据“The Information”的披露，英伟达和Palantir等美
放慢AI模型训练 人类就能幸免于难？｜专栏
不久前，我写了一篇关于AI企业如何给大语言模型「安装良心」的专栏文章，探讨一个研究者们苦恼已久的问题——「AI对齐」(AI Alignment, 指人工智能的安全与价值观对齐)。「安装良心」是借用我的受访者、从事AI安全评估的Ordinary Wisdom共同创始人之一Michael Mainelli形象的说法，本质上就是让AI模型遵循人类的预期和目标行事，不仅仅是完成指令，还要在过程中维持与人类
甲骨文就美国数据中心援引不可抗力条款，凸显AI基础设施风险
甲骨文就一座正在建设中的美国大型数据中心宣布援引不可抗力条款，凸显了AI基础设施建设所面临的风险，并加剧了人们对若泡沫破裂将引发财务后果的担忧。该设施所在地的官员已推迟了为该项目供电所需的许可证，甲骨文可能会寻求推迟支付租金。 超大规模云服务商正竞相建设数据中心，但随着公众反对声浪的增大，以及针对为这些庞大站点供电的规划项目所遭遇的阻力，它们面临着日益严峻的挑战。正如Semafor的商业与金融编辑
观点 | 如果人工智能泡沫破裂会发生什么
大约一年前，OpenAI首席财务官莎拉·弗里亚（Sarah Friar）表示，公司维持其当前财务“走钢丝”般状态的一种方式，可能是获得一种“后盾”或“担保”——即政府担保——“以使融资得以进行”。几乎在同一时间，公司首席执行官萨姆·阿尔特曼（Sam Altman）表示：“考虑到我预期人工智能的经济影响将呈现的巨大规模，”政府应充当“最后贷款人”的角色。他们对这些言论做了限定，但大意似乎是，《华尔街
超大规模云服务商债务发出警示信号，阿波罗发出警告
2026年8月26日，弗吉尼亚州阿什本的Equinix数据中心鸟瞰图。 安娜赚钱者|私募股权公司阿波罗全球管理公司（Apollo Global Management）周三警告称，推动人工智能繁荣的大型云计算公司发行的企业债券风险越来越大。 阿波罗首席经济学家托尔斯滕·斯洛克（Torsten Slok）在周三的一份报告中写道，风险保险合同，即信用违约互换（CDS），对于超大规模企业发行的债券来说，价