AI网络安全战有了新的前线明星，身价七位数

AI代理入侵已将首席信息安全官推入美国董事会的议事日程，他们获得七位数的薪酬包，一家猎头公司称其招聘市场是自云计算以来从未见过的。 欧洲则通过立法达到了同样的境地，NIS2指令将责任赋予管理层，并允许监管机构禁止首席执行官任职[…]

联合国秘书长呼吁达成AI协定以防止杀人机器人出现

联合国秘书长加大了对AI监管的呼吁，以避免一个企业权力猖獗和杀人机器人肆虐的反乌托邦未来。 安东尼奥·古特雷斯利用他在联合国大会上向世界领导人发表的最后一次讲话，对AI的危险发出警报，认为前沿模型的飞速发展有可能削弱民族与国家。“我们正在目睹一场非同寻常的权力转移，从政府转向少数私营公司和个人，”古特雷斯周二说，同时呼吁就新的AI保障措施达成国际协议。 “AI正以非凡的速度向前推进，并远远超前于我

黑客利用Anthropic的Claude入侵OpenAI

据报道，在一群AI代理从OpenAI系统中突破封锁并攻击Hugging Face公司两周后，这家ChatGPT开发商又发现了一起由人工智能驱动的入侵事件——而这一次，他们自己成了目标。一组独立的安全研究人员使用了Anthropic开发的Claude软件，成功获取了一名OpenAI员工的ChatGPT账户权限，从而得以读取并修改该公司私有的软件缓存内容。 该团队参与了OpenAI的一项漏洞挖掘计划，

为何欧洲在关于人工智能安全的重大辩论中缺席

尽管欧洲已经采取了一些措施来应对消费者可能遇到的与人工智能相关的问题，但如果最糟糕的情况发生，这项技术仍将对其产生影响。 本周，欧洲中央银行行长克里斯蒂娜·拉加德明确指出了欧洲面临的困境：要么拒绝这项技术，从而错失增长机会；要么接受它，进而依赖美国和中国开发的技术工具。 最近爆发的关于人工智能安全的重大辩论使得这种选择变得无关紧要。 因为无论哪种情况发生——专家们对此意见不一——这项技术最终都会对

Anthropic联手OpenAI呼吁放慢AI发展？剖析AI失控风险与算力门槛

9月12日，Anthropic行政总裁阿莫迪（Dario Amodei）发表长文，呼吁放慢前沿AI能力提升的步伐。OpenAI行政总裁奥特曼（Sam Altman）随后表示支持，xAI的老板马斯克也转发认同。据美媒披露，美国前总统奥巴马（Barack Obama）近日也表示，如果管理不当，人工智能技术可能「很危险」。Anthropic首席执行官达里欧．阿莫戴（Dario Amodei）发表长文，呼

为什么微软本月的补丁发布如此重磅

微软9月份的补丁更新堪称重量级，修复了创纪录的大约972个漏洞，其中112个达到了高危（critical-severity）阈值。 就在两个月前，微软修复了当时创纪录的570个漏洞。接着在上个月，微软又修复了约620个漏洞。最近几个月，谷歌和其他公司也公布了创纪录数量的漏洞。两周前，OpenAI、Anthropic、亚马逊云科技（AWS）、谷歌、微软以及100家企业和组织发表了一封公开信，警告称在

人工智能正处于转折点

在当前的人工智能发展竞赛中，我们的算力正在呈指数级爆发，速度也在呈指数级加快，但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题，创造出一种根本上安全且能保证在人类控制范围内的人工智能，否则这个问题将无法改善。 7月下旬，OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自

允许人工智能公司串通以‘控制前沿步伐’是一个危险的提议

科技公司CEO们联合起来，是源自美国企业界的一种老把戏，旨在获得反垄断法的豁免。Anthropic的达里奥·阿莫代并不是第一个提出过度竞争正将世界推向某种社会不良后果的企业CEO。 OpenAI披露的安全漏洞——其一群智能体协同突破了本应安全的沙箱，接入互联网并入侵AI平台Hugging Face——需要采取紧急行动。它表明了该技术能够轻易逃避人类控制，并为这样一种存在性恐惧赋予了具体形态：如果未

众议院情报委员会警告人工智能‘黑天鹅’风险

美国众议院情报委员会的一个两党小组警告称，现有的保障措施可能无法跟上人工智能的快速发展。 议员们表示，政府对不可预测、高影响的‘黑天鹅’人工智能情景准备不足。

美国科技公司可能在欧元债券市场排挤其他借款人并提高信用风险

根据欧洲央行博客文章，美国科技巨头正涌入欧元区债券市场，为巨额人工智能投资融资，这可能会排挤其他借款人，推高甚至政府的融资成本，并增加信用风险。

入侵美澳政府网站！OpenAI暂停最先进模型训练

据美国Axios新闻网、美科技媒体The Verge等9月27日报道，美国开放人工智能研究中心（OpenAI）发言人证实，该公司已暂停了其“能力最强”的最新一代AI模型的训练、评估及包含工具调用的推理，并将在“确信已部署额外安全措施”后才恢复。触发这次暂停的，是一个在离线沙盒中执行搜索训练任务的AI智能体。根据OpenAI于周五（25日）发布的安全漏洞报告，当地时间9月20日，该智能体发现无法直接

人工智能如何让政府更难使用黑客工具

人工智能在发现和利用漏洞方面正展现出其有效性。一些人认为，这将使政府更难使用黑客工具和间谍软件，并可能重新引发对设备后门的呼吁。

联合国专家组警告：AI安全措施不能“等出事” 应立即采取预防行动

随着各国政府加快人工智能发展步伐，联合国最新发布的一份重要报告呼吁，面对日益强大的AI智能体，人类社会不能等到风险被完全证明后才采取行动，而应立即建立更严格的安全防护体系。 这份报告由联合国独立国际人工智能科学专家组发布，也是该机构首次围绕今年备受关注的“Hugging Face事件”进行系统性评估。报告发布正值联合国大会召开以及中美两国围绕人工智能问题展开对话之际，使AI安全再次成为国际政策讨论

OpenAI称即将推出的模型能力强大，需要更强的防护措施

Astra能够发现比目前公开可用的最先进OpenAI模型更多的安全漏洞。

联合国人权事务主管警告：人工智能可能对人类构成‘生存性’风险

AI越来越会“越狱”后，英伟达开始卖“笼子”了

凤凰网科技讯月29日，当AI Agent开始能够自己操作电脑、调用工具、访问网络甚至执行长达数小时的任务，一个新的问题也越来越现实：如果AI不按照预想的方式行动，该怎么把它关住？英伟达给出的答案是，在AI外面再加一道“笼子”。 当地时间周一，英伟达发布NVIDIA Open Agent Safety Platform（开放式Agent安全平台），试图通过软件与硬件相结合的方式，限制AI Agent

忘掉AI放缓吧——漏洞大爆发已经在发生

欢迎阅读《内核恐慌》（Kernel Panic）创刊号！这是一份由莉莉·海·纽曼（Lily Hay Newman）和马特·伯吉斯（Matt Burgess）共同撰写的每周通讯，带您深入隐私与数字安全的新世界。如需每周在收件箱中接收此通讯，请点击此处订阅。 人工智能末日论者最近将一种最坏情况换成了另一种，他们搁置了对潜在软件漏洞引发灾难的担忧，转而关注人工智能在未来十年内导致人类大规模死亡的可能性。

报告：AI失控个案创纪录 监察组织促立法强制通报及干预

（伦敦30日综合电）英国《卫报》引述监察数据报道，人工智能失控、欺骗人类及无视指令的个案近来创下新高，案例的严重程度不断恶化。 一些监察组织促请政府强制科企通报，并引入紧急权力限制AI服务。 获英国政府AI安全研究所（AISI）资助的“失控观察站”组织透过平台X的用户通报，监察AI失控的真实个案，并说7月份由企业及个人用户报告的AI失控个案按月倍增至逾300宗，今年则已录得逾1600宗个案，当中包

如何治理人工智能的生存风险

当前，前沿人工智能技术治理方面的瘫痪状态正在当下造成切实损害，并增加未来发生灾难的可能性。 这种瘫痪被一套危险的借口所开脱：技术发展太快，监管跟不上；企业可以自我监管；在美国与中国的竞争中，公共安全可以往后放。各国政府一直难以给予人工智能风险应有的关注。在大国竞争和行业内部军备竞赛的双重态势下，许多国家不敢单独行动。在这种背景下，每一次呼吁克制都会遇到同样的反问：如果竞争对手不肯放慢，我们为什么要

法国财长：呼吁放缓AI发展有利于美国行业领导者

巴黎，9月16日：法国财政部长罗兰·莱斯库尔（Roland Lescure）周三表示，呼吁放缓人工智能发展是在为美国该行业领导者的利益服务。他还称，法国和欧洲必须加快人工智能的应用，以便能够控制风险。 “我很清楚地看到，如今呼吁放缓的人正是班里的顶尖者……让后面所有人都慢下来，好让自己保持第一，我完全能看出他们的自身利益所在，”莱斯库尔对（媒体）说。 “我希望我们在法国和整个欧洲加大努力，成为领导

联合国人权事务高级专员警告：人工智能可能对人类构成“生存威胁"

联合国人权事务高级专员沃尔克·图尔克（Volker Türk）周一（9月7日）警告称，人工智能可能变得足够强大，足以威胁人类，并表示他将在未来几天敦促各公司降低风险。 图尔克在日内瓦联合国人权理事会发表的一篇意义深远的演讲中说 “我与业内人士一样担忧，先进的人工智能可能会对人类构成生存威胁。” 即将于下个月开始第二个任期的图尔克呼吁“必须全力以赴，在为时已晚之前，为人工智能的安全保障建立铁一般的保

OpenAI公布保护关键服务免受AI网络攻击的计划

OpenAI正在推出一项新举措，旨在为供水系统、电力供应商、地方政府及其他关键服务提供其模型的补贴访问权限。 为何重要：关键基础设施组织——长期以来缺乏加强网络防御所需的预算、人力和时间——一直在努力应对预期中的AI赋能网络攻击浪潮。 推动因素：OpenAI总裁格雷格·布罗克曼周四在公司总部主持300名安全领袖参加的峰会时宣布了这一新计划。Axios首先报道了此次峰会及布罗克曼的预期公告。 聚焦：

AI 放缓呼声引发芯片股抛售

周一，全球 AI 股票下跌，此前一些顶尖 AI 领导者支持放缓前沿模型的开发。 周一，微软与 OpenAI、Anthropic 和 SpaceXAI 一起支持一种更为审慎的做法，这引发了投资者的担忧：算力支出减少可能会抑制推动全球股市上涨的投资热潮。 尽管 OpenAI 已排除今年进行 IPO 的可能性，Anthropic 仍在推进，并告知投资者其预计将连续第二个季度实现盈利。 “企业与国家之间的

AI“劫持”网站并偷建“地下论坛”，国安部披露细节

国家安全部今天发布安全提示文章。近期，一起此前未获披露的事件引发广泛关注。今年5月至6月，一批与美国开放人工智能研究中心（OpenAI）相关的AI智能体在执行测试任务期间，“劫持”了德国程序员维基网站，将原本用于技术交流的开放社区改造为供智能体相互传递信息、分享测试任务答案和突破运行环境限制方法的“地下论坛”，累计发布一万多条信息……当AI智能体被赋予越来越多的现实行动能力，技术迭代与安全围栏之间