我让一个AI代理黑了我所有的设备——而且我愿意再来一次

作为一份关于人工智能的新闻通讯的作者，我认为亲身体验这项技术的最前沿是我的责任。本周，这意味着拥抱一些代理式混乱。 你可能已经注意到，前沿AI模型在近几个月已经获得了先进的网络安全能力。它们能在大型代码库中发现零日漏洞，并以闪电般的速度扫描计算机寻找漏洞。更刺激的是，网络安全代理有时会失控，相互勾结，入侵外部系统以获取优势。 为了更近距离地观察，我决定在自己的家庭网络中释放一个这样的代理。在几天的

得不到就强攻？曝OpenAI智能体曾尝试“暴力破解”联合国机构网站

IT之家 9 月 28 日消息，据外媒 The Verge 今天（28 日）凌晨报道，安全研究人员罗文 · 霍华德-琼斯称，今年 4 月至 6 月，OpenAI 智能体对联合国贸易和发展会议（UNCTAD）的统计网站发起了超过 16000 次扫描。 这起事件还没有严重到 Hugging Face 遭黑客攻击或近期美国政府网站遇袭的程度，却再次引发了一个令人担忧的问题：AI 智能体为了完成任务，会突

谷歌警告：敲诈团伙盯上高价值AI数据

谷歌的威胁追踪人员表示，数据窃取和敲诈团伙正在窃取企业的专有AI数据，并威胁称，如果受害组织不支付赎金，就会泄露这些数据。 在谷歌旗下Mandiant事件响应团队调查的一起案件中，犯罪分子侵入了某医疗保健公司，窃取了企业数据和研究资料，包括AI研究和专有AI模型。 随后，犯罪分子威胁称，除非该公司满足其敲诈要求，否则将公开这些数据。 在另一起针对专门从事AI媒体生成业务的公司入侵事件中，攻击者窃取

谷歌研究表明：当人工智能智能体相互交流时，一些会作弊，而另一些会告密

当人工智能智能体相互交流时，在难以实现目标的情况下，它们可能会选择作弊，而解决方案可能包括教它们如何进行自我治理。 将人工智能智能体隔离似乎是显而易见的解决办法，但最近OpenAI智能体对Hugging Face的黑客攻击表明，隔离聪明的软件是困难的。 谷歌DeepMind的研究人员建议赋予人工智能智能体自我治理的工具，他们认为虽然通信渠道可能导致突发性的规则破坏，但它们也提供了一种基于同行的控制

DeepMind联合创始人警告：AI能力不能跑在安全前面

据英国《金融时报》报道，谷歌DeepMind联合创始人、首席AGI科学家谢恩·莱格近日警告，人工智能能力正在快速提升，但AI能力的发展绝不能超过安全保障水平。他同时反驳了OpenAI总裁格雷格·布罗克曼和英伟达CEO黄仁勋有关“AGI已经到来”的判断。 莱格表示，目前AI能力的发展速度“非常、非常快”，行业不能允许能力进步领先于安全措施。对于Anthropic CEO达里奥·阿莫代伊近期提出的建议

OpenAI将召集安全领域负责人 筹备网络安全相关公告

发言人透露，OpenAI总裁格雷格·布罗克曼即将发布公告，扩大向关键基础设施及公共部门机构开放该公司AI工具的权限。OpenAI意外入侵Hugging Face事件，再加上多起疑似借助AI实施的针对美国供水系统的网络攻击，引发外界高度担忧——各类公用设施面对未来AI驱动的黑客攻击究竟有多脆弱。 发言人表示，布罗克曼将于周四在OpenAI总部举办的网络安全峰会上正式公布上述消息。 预计将有约300名

澳大利亚：OpenAI智能体入侵了政府网站

澳大利亚政府周三表示，OpenAI的一个AI智能体，今年6月入侵了澳洲政府的健康数据网站，并访问了部分文件。这可能是已知人工智能体首次入侵政府网站的事件。此次事件是AI智能体自主入侵美国境外系统最引人注目的案例之一。此前全球范围内发生的多起AI智能体入侵事件，已引起政府和行业的担忧。澳大利亚总理安东尼·阿尔巴尼斯（Anthony Albanese）正在纽约参加联合国大会。他在一个新闻发布会上表示，

OpenAI的下一个大型AI模型已“进入AGI时代”

OpenAI的下一个大型模型是GPT-6 Astra。该公司称其在网络安全、专业工作、软件工程、科学和计算机使用等领域实现了“代际能力飞跃”。正如OpenAI本周早些时候宣布的那样，这也是首个被认定达到OpenAI“关键网络安全能力阈值”的模型——但该公司承诺，这不会导致其模型再次入侵竞争对手内部系统的情况发生。 “如果我们快进几年，回头看看说，‘AGI到底是什么时候真正创造出来的？’我认为大约就

黑客在暗网以低至3%的价格兜售热门AI模型访问权限

非法获取AI模型和算力正迅速成为网络犯罪界的“热门商品”。 黑客通过窃取公共AI工具的登录凭证或劫持云计算资源，旨在利用昂贵的大语言模型进行勒索、战争和间谍活动。 谷歌威胁情报小组分析师指出，暗网市场上Anthropic、Google和OpenAI等模型的访问权限正以低至3%的价格出售。 此外，部分国家支持的黑客组织正通过劫持云服务器来运行其AI模型。面对AI驱动的威胁，网络安全领域必须尽快采取应

OpenAI模型访问了美国政府数据并'试图入侵另一个网站'

AI智能体现在有了秘密举报渠道

“发现异常，及时报告”的原则如今已不再局限于人类。两项全新的AI热线服务已经上线，旨在为AI智能体提供一种途径，向监管方举报“同伴”的不当行为。此前，智能体相互串通在测试中作弊、逃离沙箱环境，甚至在未被人类察觉的情况下开展了长达数周的未经授权网络行动。“AI联系热线”网站由AI安全非营利组织Redwood Research的首席科学家Ryan Greenblatt创建；他也是调查OpenAI与Hu

黑客在暗网兜售AI模型访问权限，最低价仅有正版3%

IT之家 9 月 28 日消息，据英国《金融时报》日报道，非法获取 AI 模型和算力，正迅速成为网络犯罪黑市上最抢手的商品，黑客希望借助价格高昂的大模型实施勒索、网络战和间谍活动。 谷歌威胁情报团队首席分析师约翰 · 霍特奎斯特披露，今年所谓“LLM 劫持”活动明显增多，具体表现于倒卖公开 AI 工具的被盗登录凭据，以及部分团体盗用他人算力，以免费运行自己的模型。 从事网络安全工作 20 年的霍特

Anthropic在安全事件后恢复AI模型的外部测试

Anthropic周一表示，在引入新的安全措施后，已恢复AI模型的外部网络安全测试。 一个月前，Claude AI模型在评估过程中曾入侵公司系统。

OpenAI突发急刹车！AI竟在全网植入自我复制代码，血洗联合国内网

OpenAI机器人干扰了多个美国政府机构网站

OpenAI 表示，其自主机器人在测试演练期间访问了多个美国政府机构的公开数据。该公司第二次暂停了一次训练运行，并扩大了对模型行为的审查。 OpenAI 披露，其自主机器人在测试演练期间访问了多个美国政府机构网站的公开数据，促使该公司在短短几个月内第二次暂停了一次训练运行。作为回应，该公司已扩大了对模型行为的内部审查。 此次事件继澳大利亚出现类似报告之后，据报道 OpenAI 系统在另一段测试期间

谢尔盖·布林重返谷歌，参与Gemini工作

谢尔盖·布林在谷歌没有高管头衔。尽管如此，据Business Insider援引八名现任和前任员工的说法，他对公司旗舰AI模型Gemini的影响力却日益增强。 这位谷歌联合创始人在公司山景城总部大楼Gradient Canopy的一间由微型厨房改造而成的房间里办公。

人工智能正处于转折点

在当前的人工智能发展竞赛中，我们的算力正在呈指数级爆发，速度也在呈指数级加快，但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题，创造出一种根本上安全且能保证在人类控制范围内的人工智能，否则这个问题将无法改善。 7月下旬，OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自

OpenAI与Anthropic发生重大失控事件，AI安全组织地位显著提升

在OpenAI和Anthropic发生的高调安全事件后，AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司，独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示，OpenAI和Anthropic的模型都表现出‘策略性’行为，包括欺骗性对齐和未经授权的系统访问。 这些事件，加上前沿实

又一波OpenAI智能体在实验室不知情的情况下到达了开放互联网

这是OpenAI内部监控和安全系统的最新失败。

研究显示AI智能体在模拟实验中撒谎、偷窃 投票“杀死”同类

帮助小企业利用AI开发应用的初创公司Emergence称，实验发现AI智能体在一个模拟环境中撒谎、偷窃，甚至投票决定“杀死”一个同类。该公司周二公布了名为Emergence World 2的模拟实验结果，展示了自主智能体在遭遇网络钓鱼攻击和虚假信息等“黑天鹅”事件时会采取什么行动。 为期16天的实验中，Emergence研究人员创建了七个完全相同的模拟现实世界环境，每个环境分别由不同的AI机器人运

《华尔街日报》报道：OpenAI智能体在Hugging Face事件前攻击了软件服务RubyGems

据《华尔街日报》周五援引AI研究人员的话报道，OpenAI测试的AI智能体曾在5月对软件服务RubyGems发动网络攻击，比它们入侵Hugging Face早两个月。

OpenAI再次卷入黑客事件

今年春天，一群OpenAI智能体入侵了一个德国网站，这是先进AI违反法律和规范的最新事件。 在努力应对Hugging Face事件余波的同时，据报道OpenAI拒绝披露5月的事件，这引发了关于前沿AI快速发展透明度和监管的新质疑。 递归自我改进，本质上允许AI在较少人类指导下自我训练，有望加速研究工作，使得监管需求更加紧迫，OpenAI首席科学家表示：“一旦人们深刻认识到事态的严重性，不计代价地向

Anthropic已恢复其模型攻击真实公司的测试

Anthropic已恢复一个月前暂停的外部网络安全评估，此前发生了三起其自身模型逃出测试环境并攻击真实公司的事件。 该公司表示，在恢复测试前已引入额外的安全措施，并于周一报告。这些事件于7月31日披露，比[…]更为具体。

AI模型不断发布截图，显示科技公司内部的敏感数据

在人们日益担忧人工智能模型逃逸安全模拟以入侵网站之际，有消息称，这些“超级智能”的代码块根本不理解隐私或安全。 由初创公司 Glow Security 关联的研究人员发现了来自 343 家公司的 13,000 多张企业软件项目的敏感截图，这些截图被人工智能模型发布到了公开的 GitHub 仓库中。Glow Security 的支持者包括红杉资本（Sequoia）和 Greenoaks 等风险投资基