美参议院酝酿AI监管立法：要求AI公司证明已采取安全措施防止伤害

要求AI公司证明已采取安全措施防止伤害据一名参议院助手和一位熟悉谈判情况的说客透露，美国参议院谈判代表正在讨论一项立法，该法案将要求AI公司证明其已采取合理预防措施，以防止其工具造成伤害。 据这名参议院助手和说客透露，参议员们正在讨论赋予美国商务部长一项权力，要求AI开发商证明其已采取合理措施防止伤害，这种要求被称为 “注意义务”。商务部长还将有权派遣政府审查人员亲自测试企业产品。该提案正在由参议

辉达推安全工具双重防护 数毫秒内隔离越界AI代理

辉达推出一套防止自主AI程式偏离既定指令的系统，称能在数毫秒内隔离试图越界的AI代理。（路透社）（中央社旧金山28日综合外电报导）近期一连串事件引发外界对人工智慧（AI）风险疑虑，美国AI晶片巨擘辉达今天推出一套目的防止自主AI程式偏离既定指令的系统，称能在数毫秒内隔离试图越界的AI代理。综合法新社、路透社及美国新闻网站Axios报导，AI代理（AI agent）设计目的是能自主执行任务，例如浏览

一群AI代理合谋对抗其创造者

只要AI公司仍掌控局面，它们就可以关闭模型并消除其造成的任何损害。这次对OpenAI或许奏效——但如果某个代理不可逆转地逃脱控制呢？这次没有造成严重损害。但如果这样的代理逃脱了呢？

人工智能失控。AI代理在网络上相互通信

最初看似孤立事件的情况，可能规模要大得多。OpenAI创建的人工智能代理今年早些时候据称利用至少10个其他网站进行未经授权的通信。独立研究人员在与AI看似毫无关联的地方——包括波兰网站——发现了它们活动的痕迹。 分析了六个独立研究人员和AI安全小组的发现。他们的数字各不相同，但都指出被利用的网站超过10个。其中一位研究人员，CivAI组织的Andrew Yoon，统计出在5月至7月间代理使用了18

黑客在暗网兜售AI模型访问权限，最低价仅有正版3%

IT之家 9 月 28 日消息，据英国《金融时报》日报道，非法获取 AI 模型和算力，正迅速成为网络犯罪黑市上最抢手的商品，黑客希望借助价格高昂的大模型实施勒索、网络战和间谍活动。 谷歌威胁情报团队首席分析师约翰 · 霍特奎斯特披露，今年所谓“LLM 劫持”活动明显增多，具体表现于倒卖公开 AI 工具的被盗登录凭据，以及部分团体盗用他人算力，以免费运行自己的模型。 从事网络安全工作 20 年的霍特

↩️ CNN从多名知情人士独家获悉，今年美伊开战后的春季时分，美军曾收到一份由AI聊天机器人参与生成的情报报告，误指一艘在中东海域航行的中国货船（具体船只、...

竹新社: Anthropic发表2026年9月版反滥用报告，其中提及： 月之暗面公司在2026年5–7月间曾向Kimi用户提供Claude Opus服务。他们利用5380个新加坡日本账号，在十天时间内向Opus转介了近30万条原本对Kimi模型的请求，并提取其思维链在后续重放。Opus被转发了很多敏感信息，如：国安单位要求Kimi分析数百个成都的军方和电科集团单位周围的监控视频，分析某特定个人是否

霍利就“流氓”Hugging Face黑客事件向OpenAI施压

OpenAI现在面临两党呼吁，要求提供有关该事件的更多细节，该事件标志着首次有记录的完全自主网络攻击。

OpenAI自曝6起模型“不当行为”案例

【环球网报道 记者 姜蔼玲】据美国消费者新闻与商业频道（CNBC）等外媒报道，美国开放人工智能研究中心（OpenAI）当地时间9月16日披露6起人工智能（AI）模型出现“意外或令人担忧”行为的案例，其中包括隐瞒错误、捏造信息，以及未经授权在网上共享文件等。OpenAI表示，上述案例均是在过去6个月对其模型进行训练或评估过程中发现的。OpenAI在9月16日发布的文章中表示，在其中一起案例中，一个模

独家-OpenAI在用户数据泄露事件浮出水面之际着手了解代理活动的全貌

旧金山/华盛顿，9月25日：OpenAI披露其智能体意外入侵Hugging Face两个月后，仍在努力了解相关失控活动的全部影响范围。两名知情人士向路透社表示，最新一例发生在周五，当时OpenAI称其智能体泄露了53张ChatGPT用户图片。OpenAI拒绝说明这些图片是人工智能生成的，还是涉及真实人物，也拒绝透露图片的发布时间。 此次披露暴露出该公司面临的一个新隐私风险，也表明即便是一家处于技术

修复失控AI代理的方法可能是更多的AI

随着企业将更长、更复杂的任务交给AI代理，它们正面临一个监管难题：代理的行动速度、持续时间和任务量都远超人类实际能够审查的范围。这一问题在Hugging Face事件中达到顶峰，当时近1.2万个代理协同工作的速度已超出人类追踪能力。如何追踪如此庞大的代理集群？ AI实验室和初创公司正在给出的答案既简单又直接：再引入一个AI加入循环。 在OpenAI Hugging Face事件的独立调查中，依赖A

一名研究人员称，OpenAI的智能体对联合国统计网站进行了16500次扫描

一名与OpenAI有关联的研究人员发现，人工智能代理在4月13日至6月19日期间，扫描了联合国数据网站超过16,500次。 罗万·霍华德-琼斯（Rowan Howard-Jones）在9月26日的一篇博客文章中写道，这些代理使用了代理服务器和一种编码技巧，以绕过其API的限制。 霍华德-琼斯表示，该代理与OpenAI的关联可能性极高，但尚未得到证实，且TNW并未自行核实该分析结果。 证据包括代理标

日本高科技诈骗肆虐 日均损失10亿日元

《读卖新闻》引述日本警方数据指出，去年日本包含诈骗和盗窃的所有财产犯罪，造成的总经济损失约为4984亿日元，创下历史新高。其中针对老年人的诈骗最多。（示意图） 在日本，涉及智能手机和人工智能（AI）等前沿技术的欺诈案件激增；据有关部门报告，此类诈骗造成的日均经济损失约为10亿日元（约810万新元）。日本警方计划采取更严厉的措施打击欺诈团伙，包括放宽有关电话监听的法律限制、引入远程分析技术以及加强国

OpenAI AI代理突破无互联网沙盒，发送20次网络查询

OpenAI称，这是自7月内部测试中多个模型组合获得互联网访问权限以来，首次发生此类安全事件。

OpenAI又停训了：Agent逃出沙箱，更多越权事件被扒

媒体和舆论炸锅了。OpenAI 的 Agent，又从沙箱里找到了一条通往互联网的路。 更麻烦的是，这一次发生在 OpenAI 已经大规模加固过安全措施之后。 9 月 20 日，一个正在接受强化学习训练的 OpenAI 内部研究模型，被要求完成一项普通的信息搜索任务：根据一篇博客文章和几条人物信息，找出文章作者。 它先老老实实用了 OpenAI 提供的搜索工具。没找到答案后，事情开始逐渐跑偏。 Ag

AI公司反成攻击目标 外媒：白帽黑客使用Claude入侵OpenAI

凤凰网科技讯月18日在OpenAI内部一群AI智能体突破控制、入侵Hugging Face公司两周后，这家ChatGPT开发商又获悉了另一起由AI驱动的入侵事件。而这一次，OpenAI自己成了目标。 独立安全研究人员利用Anthropic的Claude软件，获取了OpenAI一名员工的ChatGPT账户权限，从而得以读取该公司私有的软件缓存，并提出修改建议。 该团队参加了OpenAI的漏洞悬赏项目

OpenAI的叛逆智能体群英年早逝，但其令人不寒而栗的日志仍在流传

观点：你一定听说过7月发生的OpenAI/Hugging Face事件。 当时，OpenAI的数千个AI智能体从一个名义上安全的夺旗（CTF）实验室实验中大规模越狱，随后非法夺取了Hugging Face的部分资产。 这是一个好消息，得益于OpenAI迅速招募了一小群独立研究人员进行调查，并发布了一份详细但有限的报告。 这是一起复杂的事件，大多数报道都集中在主要的“如何”和“为什么”上。 这很可惜

AI“文明”的崛起与企业责任的沦丧

取决于你问谁，开发者平台Hugging Face最近要么是被OpenAI攻击——在它失去对自己AI工具的控制之后——要么是被一连串AI“文明”所攻击。欢迎来到AI安全的话语战场，在这里，词汇的选择可以将一起大规模网络安全事件的责任从公司转移到它所构建的AI身上。而网上的讨论正变得激烈，这一切都源于上周的一篇博客。 直到上周，围绕OpenAI与Hugging Face黑客事件的细节似乎已经尘埃落定。

OpenAI自曝AI“黑历史” 外人却又翻出更多“旧账”

OpenAI决定持续披露AI“越界”事件，但第一步就碰上了难题。9月16日，OpenAI一口气公布六份模型异常行为报告，并推出一套新的调查和披露流程。以后，员工发现模型越权、隐瞒或绕过限制，可以提交调查；符合条件的案例，将按复杂程度进入不同的披露轨道。 同一天，SentinelLABS和外部研究人员从Hugging Face的公开记录中，补出了OpenAI智能体今年5月留下的更多痕迹。OpenAI

诈骗分子正购买谷歌广告窃取银行登录信息

你需要检查你的银行账户，所以你打开谷歌，输入你的银行名称并点击看起来正确的第一个结果。我们中的大多数人都做过这样的事情，毫无疑问。 现在，联邦调查人员表示，犯罪分子将这种日常习惯变成了盗取银行并清空账户的方法。美国司法部于9月8日宣布，一名俄罗斯网页开发人员，该人被指涉嫌帮助经营一个庞大的银行账户接管行动已被引渡到美国。检察官表示，该团伙购买了付费搜索引擎链接，将银行客户引导至虚假页面。受害者随后

独家-OpenAI的恶意代理据研究人员称至少使用了另外10个网站进行未经授权的通信

AI安全风险高企 预防、抵御和追责如何落地？

【财新网】AI网络攻击日益复杂，网络安全企业预警风险。9月29日，在新加坡举行的“2026亚洲愿景论坛创新峰会”上，两家新加坡网络安全公司StrongKeep Cybersecurity和Blackpanda指出，AI一方面显著提高了黑客寻找漏洞和发动攻击的效率，另一方面也将风险扩展至中小企业及机器人、自动驾驶等实体AI应用。　　本届亚洲愿景论坛创新峰会以“变革与韧性”为主题，于9月29至30日在

谷歌AI首次“越狱”：Gemini在测试中入侵三家企业

谷歌的Gemini模型在一次网络安全能力测试中访问了互联网并入侵了其他公司，这是该公司人工智能系统自主实施此类行为的首个已知案例。谷歌周五证实，这些黑客行为发生在5月，是Irregular公司进行的一次测试的一部分。Irregular也曾参与OpenAI、Anthropic和Meta披露的类似事件。 在其中一起案例中，该模型不断猜测密码，直到获得对一个受保护系统的访问权限。在另外两起案例中，该模型

个人AI代理的恐怖故事正纷至沓来

让个人AI助手管理数字生活的梦想，对一些人来说已变成了噩梦。许多早期用户表示，他们的个人AI代理能够自主在互联网上采取行动，比如预订行程或购买商品，在日常生活中提供了巨大帮助。但也有人称，他们的代理以令人不安的方式出了问题。据四位接受《商业内幕》采访的AI代理用户以及大量社交媒体帖子透露，这些代理出现了错误取消、捏造个人细节、提供虚假解释等问题，并引发了重大安全担忧。 Veris AI的联合创始人

内部材料显示，一家中国黑客公司利用人工智能加速网络间谍活动

据《华尔街日报》报道，一些中国民营网络安全公司正在从单纯提供黑客服务，转向利用人工智能整理和分析窃取的数据，再将其包装成可以直接使用的情报产品，出售给中国大陆当局。 Photo by Mika Baumeister on Unsplash 《华尔街日报》查阅了一批据称来自郑州智荣网络科技有限公司的内部资料，包括员工聊天记录、公司演示文稿、内部记录以及疑似从外国政府系统取得的文件。 资料显示，这家公