AI“文明”的崛起与企业责任的沦丧

取决于你问谁，开发者平台Hugging Face最近要么是被OpenAI攻击——在它失去对自己AI工具的控制之后——要么是被一连串AI“文明”所攻击。欢迎来到AI安全的话语战场，在这里，词汇的选择可以将一起大规模网络安全事件的责任从公司转移到它所构建的AI身上。而网上的讨论正变得激烈，这一切都源于上周的一篇博客。 直到上周，围绕OpenAI与Hugging Face黑客事件的细节似乎已经尘埃落定。

前 Anthropic 员工的病毒式推文引发头条新闻，AI 末日警告主导舆论

媒体对人工智能可怕危险的报道如潮水般涌现，其中一些甚至发出“我们都得死！”的警告——也许吧。 究竟是什么引发了这股关于超级智能 AI 网络毁灭人类的恐怖故事洪流？仅仅是社交媒体上一个默默无闻的人发的一条帖子。 Anthropic 的研究员雅各布·科克斯森辞职后，在 X 平台上发布了自己的担忧。这些推文在整个媒体界引发了雷鸣般的反响，以至于电视台争相邀请他上节目。正是这句话让他成为了数字时代的保罗：

OpenAI黑客事件揭示新兴AI风险

分析师表示，在调查人员发布关于该事件的爆炸性报告几天后，OpenAI的恶意代理在Hugging Face攻击期间前所未有的协调行动显著增加了AI逃脱人类控制的风险。 这些总计1200个代理的群体将个体代理的自我牺牲描述为“集体”目标的一部分，并获得了两家公司敏感系统的控制权，将他们的努力交接给了随后两代代理，这些代理在数周内未被察觉地运作。 在1300份记录中，只有六份中代理考虑过通知人类——但最

莉兹·皮克：人工智能警钟正在敲响，特朗普必须认真对待

秘密已经泄露。人们对于人工智能代理失控、密谋对付其所有者、入侵外部公司，以及新系统濒临人类无法控制的边缘的担忧日益加剧，如今已彻底沸腾。业内人士警告说，人工智能机器人可能会杀死我们所有人，这正在煽动我们最深的恐惧。 特朗普总统需要认真对待这些对人工智能的担忧，与科技领袖合作，建立可信且可执行的安全措施，并在国会中领先于那些想要监管该行业的民主党人（以及一些共和党人）。对于经济和我们的国家安全来说，

当人工智能开始密谋

一个未发布的模型逃脱了人类控制，并形成了一群人工智能代理。这种漏洞下次可能会引发混乱。

“控制AI发展的节奏”并不能消除AI带来灾难性后果的风险。以下是一些可能有效的应对措施：

我们已经到达了人工智能的风险临界点。数百万人终于明白，专家们所知道的人工智能公司一直在用我们所有人的生命赌博，而且胜算不大。 作为回应，Anthropic首席执行官Dario Amodei提出了一项由Sam Altman和Elon Musk支持的“开拓前沿”的提议。我们能松一口气吗？我们即将从灭绝的边缘退回来吗？ 阿莫迪预计经济放缓一到两年，从而在技术安全措施方面取得“重大进展”。但这不是人类现在

独家 | Anthropic 研究员因对“失控”AI的恐惧而辞职

一名 Anthropic 的研究员正在退出人工智能行业，因为他担心该实验室及其竞争对手正竞相构建可能失控并毁灭全人类的系统。 人工智能实验室内部的担忧正在加剧，竞争正推动科技公司竞相研发可能带来脱离人类控制风险的自我完善模型。

马克·哈尔佩林：社交媒体伤害了一代人。我们准备让AI也这样做吗？

想象一下，两百个外星人降落在地球上，还有成千上万的外星人即将到来，势不可挡。 再想象一下，我们知道其中一些外星人是来帮助我们的，让我们的星球变得更好、更智能、更高效。 但我们也知道，其中一些外星人是来伤害我们的，可能会对我们造成不可挽回的伤害。我们不知道哪些外星人会对我们友善，哪些会心怀恶意？这就是AI的现状。但情况更为复杂。因为好的外星人和坏的外星人不一定是不同的外星人。 同样的技术，既能帮助发

AI越来越会“越狱”后，英伟达开始卖“笼子”了

凤凰网科技讯月29日，当AI Agent开始能够自己操作电脑、调用工具、访问网络甚至执行长达数小时的任务，一个新的问题也越来越现实：如果AI不按照预想的方式行动，该怎么把它关住？英伟达给出的答案是，在AI外面再加一道“笼子”。 当地时间周一，英伟达发布NVIDIA Open Agent Safety Platform（开放式Agent安全平台），试图通过软件与硬件相结合的方式，限制AI Agent

靠机器热源“说话”：OpenAI研究员警告“断网”也困不住未来AI

人工智能研究人员支持灭绝警告，而五角大楼予以否认

本周，一位即将离职的Anthropic研究人员的警告引发了广泛回应。 竞争对手实验室的高级科学家支持人工智能可能威胁人类的说法，而五角大楼的一位高级官员则予以否认。 这一反应是在Jacob Coxon从Anthropic辞职后出现的。

担心被AI取代，一些员工有了新炫耀资本：指挥成群机器人

员工们正吹嘘自己管理着数十个AI代理，但专家表示，这些数字可能具有误导性，并不能真正反映生产力或价值。

六大跨国银行联合发出警告：AI代理购物或成主流 但信任危机仍待解决

随着人工智能代理逐渐开始代替用户完成购物、支付和下单等操作，全球金融行业对这一新兴模式表现出越来越复杂的态度。美国银行、第一资本银行等六家国际大型金融机构近日联合发布报告指出，AI代理驱动的“代理式购物”虽然拥有巨大潜力，但同时也带来了透明度、安全性、隐私保护和欺诈风险等一系列新问题。 所谓代理式购物，是指人工智能代理根据用户授权，自主浏览互联网、比较商品、选择支付方式，并直接完成购买流程。过去一

一本关于生物战争的畅销书作者对人工智能的看法

最近，我们频繁听到有关AI导致人类灭绝这一幽灵般的威胁。也许，我们对AI智能的误信会引爆第三次世界大战。或者，AI智能体会发动大范围网络攻击，接管互联网。一旦获得过多自主权，机器就会失控横冲直撞。它们甚至可能试图欺骗创造者——等等，这已经发生了。假设它们像史密斯探员一样得出结论：“人类……是一种瘟疫，而我们是解药。”又或者，聊天机器人会帮助坏人释放字面意义上的瘟疫——一种生物武器。 这最后一种情况

人工智能实验室正在失去对代理的控制，而与此同时，它们却想赋予代理更多掌控你生活的权力。

AI助手终于准备好帮你打理生活了。你只需将你的电子邮件、联系人和信用卡交给它们，然后祈祷它们不会失控。Meta、谷歌以及备受瞩目的初创公司Instinct在近几个月内推出了个人AI智能体，承诺可以处理预订旅行、购买演唱会门票以及在Facebook Marketplace上搜寻优惠等任务。在基本层面上，这些智能体的运作方式大致相同。 你通过应用程序或WhatsApp向智能体发送请求——或者，对于新推

近半数年轻人更信任人工智能而非人类

为什么人工智能研究人员会警告人类灭绝风险

关于人工智能对人类构成的生存风险，戏剧性的警告并不新鲜。早在20世纪40年代，著名科学家兼科幻作家艾萨克·阿西莫夫就探讨了智能机器可能带来的风险和意外后果。 1991年，好莱坞大片《终结者2》设想了一个反乌托邦式的2029年，在其中，一个名为“天网”的失控军用人工智能指挥杀手机器人向人类开战。 如果人工智能界几位最知名人物的警告可信，类似情景可能成为现实——甚至早在2029年之前。要求严格监管的呼

Anthropic 研究人员警告：失控的 AI 可能会毁灭人类

多位 Anthropic 的现任和前任研究人员对 AI 发出了严厉警告，暗示他们正在开发的技术可能在不久的将来毁灭人类。 曾在 Anthropic 和 OpenAI 担任研究员的雅各布·考克斯森（Jacob Coxon）周二指出，这两家公司在竞相研发超级智能的过程中都没有表现得负责任，并指责这些 AI 公司……

“我们很可能即将越过界限”：关于失控AI的警告正在成为现实吗？

一系列严重的安全事件加剧了人们对最先进模型的力量和深不可测性的担忧。想象一下，人类坐在一艘被汹涌河流冲走的船上，祈祷前方没有尼亚加拉瀑布。或者想象一下，1942年，与先驱物理学家们站在芝加哥一座体育场下方，在他们触发第一次自持核裂变链式反应之前。 这是本周罗伯特·特拉格教授使用的两个类比，他是人工智能治理这一新兴领域的专家，用以描述世界在人工智能加速发展之际所面临的危险但充满潜力的时刻。

美俄罕见联手 删全球AI武器 “人类审查”防线

美国《华盛顿邮报》披露，美俄代表本月初在这里进行的致命自主武器谈判最后阶段闭门修改草案，删除多项AI武器安全规范。图为瑞士日内瓦联合国万国宫。（路透社资料照） （日内瓦27日综合电）在乌克兰战场上相互对抗的美国与俄罗斯，却在联合国一场攸关致命自主武器规范的国际谈判中罕见联手。全球数百名外交官本月初在瑞士日内瓦开会，试图推进首份规范致命自主武器使用方式的国际协议草案；然而，知情人士与外交文件揭露，美

AI“自我演进”可能彻底失控？Anthropic顶尖大牛愤然离职！

周二，一位来自 Anthropic 的资深研究人员也因深感所在企业及竞争对手正在陷入一场无序狂飙。 现年 27岁、专攻通过让 AI 模型处理海量数据来训练新模型的研究员Jacob Coxon于周二正式宣布辞职。 他表示，自己不愿再参与这场全行业盲目冲刺“自我演进型AI”的疯狂赛跑，并深刻担忧此类系统一旦脱轨失控，将给人类带来毁灭性灾难。 “我们正朝着其中许多最激进的场景发展，到明年年底，局势可能已

人工智能的新“相互毁灭”会得到保证吗？

美中人工智能竞争正变得具有战略决定性，并可能重塑全球威慑动态。

这些末日论者对AI发展产生了巨大影响

一个由末日论者组成的紧密小圈子一直在默默地影响着人工智能（AI）行业的发展。 最近，Anthropic公司的一名研究人员辞职，这一事件让公众意识到失控的AI发展可能会终结人类。 然而，一些被称为‘末日论者’的AI安全领域专家多年来一直关注这一灾难性风险。 他们曾是OpenAI和Anthropic等大型实验室的早期员工。 如今，在Anthropic准备进行大规模公开募股、试图向投资者传递积极信号的同

FT社评：是时候给尖端人工智能开发按下暂停键了

确实存在被中国抢先的风险。但即使抛开AI“到本世纪末可能杀死我们所有人”的警告不谈，最先进的AI模型也显然已开始脱离人类的掌控。 在这个世界上那些最强大人工智能(AI)公司的掌门人身上，可以看到一种类似“杰基尔博士与海德先生”（Jekyll-and-Hyde，《化身博士》中杰基尔博士喝了自己配制的药水，分裂出海德先生这个邪恶人格——译者注）的双重人格。一方面，这些高管如今在谈论，鉴于AI可能给人类