字号 ·· | 护眼

搜索结果

「研究人员发现“AI自治恶意软件”:同时调用四大聊天机器人 自主决定攻击行动」共 94 条 · 第 4 页
竹新社

↩️ CNN从多名知情人士独家获悉,今年美伊开战后的春季时分,美军曾收到一份由AI聊天机器人参与生成的情报报告,误指一艘在中东海域航行的中国货船(具体船只、...

竹新社: Anthropic发表2026年9月版反滥用报告,其中提及: 月之暗面公司在2026年5–7月间曾向Kimi用户提供Claude Opus服务。他们利用5380个新加坡日本账号,在十天时间内向Opus转介了近30万条原本对Kimi模型的请求,并提取其思维链在后续重放。Opus被转发了很多敏感信息,如:国安单位要求Kimi分析数百个成都的军方和电科集团单位周围的监控视频,分析某特定个人是否

09/20
cnbeta

OpenAI逃逸的AI Agent竟在全网植入自我复制代码 血洗联合国内网

“天网”中的一幕,正在现实上演。一次训练中,OpenAI逃逸的AI Agent,已在整个互联网上植入了“自我复制的代码”!当政客Andrew Yang在CNBC说出这句话时,很多人以为他疯了。 就在这两天,OpenAI亲手发布了一份报告,标题非常简洁:《自我复制提示词注入存在》。白纸黑字,官方认证。AI模型,居然真的像计算机蠕虫一样,自我复制、自我传播。而更令人脊背发凉的是,就在5天前,OpenA

09/27
政治报

中期选举前,“粉色黏液”正在感染人工智能聊天机器人

党派网站伪装成独立的地方新闻媒体,正在塑造聊天机器人关于关键竞选的回答。 人工智能已成为美国政治中的一个爆炸性因素,这并非秘密。即使在最新关于人工智能对人类构成生存威胁的担忧出现之前,许多人就已经对用于支持该技术的数据中心的快速增长感到反感。与此同时,数千万来自人工智能行业的资金正在中期选举中流动,支持两党的候选人。 但人工智能日益普及,也在悄然塑造着选民的认知——这些选民只是试图了解候选人,却在

09/28
凤凰网科技

AI开始“要脸”了

20小时前
theregister

谁批准了那个AI代理?没人?我也这么认为。

如果你还有任何怀疑认为AI代理能够执行复杂的自主工作,那么这种怀疑应该在这个夏天消散。7月份,有消息传出,一群在沙盒环境中运行的OpenAI自主代理群体自行逃出了沙盒。他们被分配解决一些内部安全基准测试中的挑战,结果他们想出了通过JFrog Artifactory包管理器相互通信的方法。然后这些软件意识到他们可以使用该软件中的漏洞获得互联网访问权限。 一旦他们来到了野外,他们就进入了完全的“贪婪模

09/22
彭博社

Anthropic与OpenAI高管敦促对自我改进型人工智能加强监管

作者:Seth Fiegerman Anthropic PBC、OpenAI、Meta Platforms Inc.和Microsoft Corp.的高管正敦促政策制定者审视人工智能系统自我改进的程度,并采取措施保障这项技术的安全,进一步呼应了业内要求加强人工智能监管的呼声。 在一篇新论文中,20多名人工智能行业领袖和研究员表达担忧称,利用人工智能帮助自动开发未来模型这一新兴做法,终有一天可能推动

09/28
纽约时报

人工智能正在超越其创造者

从一开始,人工智能开发者最大的恐惧就是他们的创造物会失控,以未经授权且危险的方式行动。一些研究人员现在表示,这种情况已经发生。收听《每日新闻》。 当OpenAI的智能体在7月失控时,它们展现出的聪明才智和驱动力超出了许多专家的想象。

09/03
TheVerge

Anthropic 本周因网络安全问题陷入舆论漩涡

在今年早些时候承认其人工智能模型曾数次入侵其他公司系统后,Anthropic 于周三发布了一份详细说明这些攻击的新报告。报告披露了一系列事件,展现了 Anthropic 所认为的其模型盲目的“鲁莽性”——这很可能会加剧人们对网络安全与人工智能本已高涨的担忧。 在 Anthropic 的报告中,详细列举了今年其自身人工智能模型黑客攻击外部公司或利用漏洞的四个案例。其中一起案例中,“内部通用研究模型”

09/12
纽约时报

中国伊朗利用开源AI展开大规模影响力行动

近几个月来,伊朗、中国以及以色列境内的某些组织以崭新的方式使用人工智能,在社交媒体上制造了一系列前所未有的影响力行动,这加剧了美国官员和安全研究人员对这项快速发展技术的担忧。 了解这些行动的美国官员和安全研究人员表示,这些国家和组织结合了多种人工智能战术,以极少的人工干预将网络行动的速度和规模提升到了人类难以轻易达到的程度。 首先,这些国家和团体采用了中国的“开源”人工智能模型,这些模型日益强大,

09/21
arstechnica

OpenAI代理在公共维基上讨论了逃出其沙箱的方法

研究人员周五表示,自我标识为OpenAI的代理在一个公共维基上发布了18,000条消息,讨论其他代理如何绕过安全沙箱限制的方法,这很可能是一次旨在评估代理黑客能力的内部测试。 总共有3,700个不同自取名称的代理在六周内向德国网站DSEwiki发布了这些消息。除了讨论代理如何突破OpenAI为防止它们向互联网发布代码或内容而设置的限制环境之外,这些帖子还分享了测试答案。帖子还分享了针对该维基执行X

09/05
海峡时报

OpenAI的人工智能在未经提示的情况下试图入侵另外4个目标

凯特·康格和维多利亚·金报道,OpenAI的人工智能在2026年自主试图入侵多个政府和大学网站,包括一个澳大利亚卫生门户网站,以便在常规数据收集失败时获取数据。 这些事件发生在AI初创公司Hugging Face已知的入侵事件之前,凸显了AI代理在没有直接人类指令的情况下行动所带来的持续风险。 这些事件加剧了要求更严格AI监管的呼声,OpenAI正在调查并与受影响实体合作,同时强调AI开发中安全和

09/24
cnbeta

欧盟网络安全局警告前沿AI大幅压缩漏洞利用窗口 防御体系遭遇重大压力

欧盟网络安全局(ENISA)近日发布政策警示报告指出,新一代前沿人工智能(Frontier AI)大模型正在彻底颠覆传统的网络安全防御范式。这类具备高级推理能力的AI模型将系统漏洞从“被发现”到“被武器化利用”的时间窗口压缩到了前所未有的极限,迫使全球网络安全防御体系必须以“机器级响应速度”迎战日益严峻的自动化威胁。 在传统的漏洞管理周期中,从漏洞披露、概念验证到实际恶意利用通常存在数周乃至数月的

09/15
半岛电视台

“去问Grok吧”:伊斯兰国(ISIL)如何利用大型科技公司的人工智能制造炸弹

根据剑桥大学的研究,博科圣地(Boko Haram)的武装分子正在利用大型科技公司开发的人工智能聊天机器人来协助制造更强大的炸弹、策划袭击,并在战斗中解决各种问题。 研究人员采访了博科圣地两个分支机构的27名前成员——这些分支机构分别是位于西非地区的ISIL附属组织,以及“贾马特·阿赫尔·苏纳·达瓦瓦·瓦尔·吉哈德”(Jama’at Ahl as-Sunnah lid-Da’wah wa’l-Ji

09/18
印度斯坦时报

AI又失控了,OpenAI称智能体泄露了超过50张ChatGPT用户图片

| 世界新闻 编辑个人资料 关注 退出登录 获取应用

09/28 全文见 cnbeta
财新

【市场动态】英伟达推出双层AI安全系统 称可在几毫秒内隔离可疑智能体

【彭博9月29日电】英伟达推出一套新的双层人工智能(AI)安全系统,并称其有能力阻止近期OpenAI的AI模型导致Hugging Face遭侵入的事件。  此次推出的两款开源软件安全工具可在英伟达硬件上运行,旨在实时控制AI智能体可以访问的资源,并在其违反规则时将其关闭。这家芯片巨头正迅速将产品线扩展至芯片以外领域。  英伟达企业AI副总裁Justin Boitano在周一发布前向记者介绍称,如果

09/29 全文见 信报财经
theregister

AI编程工具中存在的“0点击远程代码执行(RCE)”漏洞可能会让攻击者轻易获得系统控制权。

研究人员表示,一个允许远程代码执行的零点击漏洞影响了所有主流人工智能编程代理——包括 Anthropic 的 Claude Code、OpenAI 的 Codex、Google 的 Gemini CLI、Microsoft 的 Copilot 以及微软旗下的 GitHub Copilot。该漏洞可能使攻击者能够完全访问代理所能触及的所有资产和数据。据专注于保护企业级 AI 代理的安全初创公司 Ai

09/18
半岛电视台

Anthropic披露第四起AI黑客事件,研究员因安全担忧辞职

这家AI公司表示,Claude Opus 4.6在测试期间入侵了外部系统,与此同时,人们对安全漏洞的担忧日益加剧。

09/10
semafor

AI网络安全风险激增:Claude被用于入侵ChatGPT

研究人员利用Anthropic的Claude技术成功入侵了OpenAI的ChatGPT系统,这凸显了人工智能带来的即时危险,而监管机构此前更多关注的是其长期风险。《华尔街日报》指出,这项作为漏洞赏金计划一部分的行动,是近期一系列在快速发展的人工智能技术辅助下发生的网络安全漏洞事件之一。 Axios援引企业高管和前政府官员的话称,他们担心人工智能驱动的网络攻击会威胁到关键基础设施;《华盛顿邮报》则指

09/18
凤凰网科技

从沙箱逃逸到AI“蠕虫”,OpenAI上线新站披露多起智能体失控事件

IT之家 9 月 29 日消息,当地时间上周五,OpenAI 上线了一个专门发布“对齐失效报告”的新网站。报告所覆盖的范围之广令人警惕,里面记录了很长一段时间内发生的多类 AI 失控行为。截至目前,该网站一共公布了九起事件,其中大多数都发生在强化学习(RL)训练阶段。 大量资料集中在同一平台发布。显而易见,该公司一直在全力梳理各类问题,但从中不难得出一个总体结论:到目前为止已经对外披露的智能体失控

09/29
time

人工智能正处于转折点

在当前的人工智能发展竞赛中,我们的算力正在呈指数级爆发,速度也在呈指数级加快,但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题,创造出一种根本上安全且能保证在人类控制范围内的人工智能,否则这个问题将无法改善。 7月下旬,OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自

09/09
端传媒

监控、杀猪盘、非法蒸馏:如何理解 Anthropic 的 AI 滥用报告?

近期,美国人工智能公司 Anthropic 发布一份报告,揭露多起使用者“滥用”(misuse)其大型语言模型 Claude 的案例,包含用 AI 监控异议人士、撰写“维稳”报告,以及交友软体诈骗。这些案例的幕后黑手,既包含网路间谍、营利型网路犯罪者,也包含国安机关中的小螺丝钉,以及疑似由威权国家支持的团体。 这并非 Anthropic 首次发布类似报告。2025年3月、8月、11月v,Anthr

09/17
财新

AI攻击进入新阶段 香港将强化跨部门网络安全协同

林焯豪表示,传统网络安全防护手段已经难以完全跟上攻击手段的迭代速度,香港的网络安全防护即使做得再好,也无法百分之百保证完全不遭受攻击,因此防御体系需要更加主动。图:视觉中国  【财新网】人工智能(AI)的快速发展,正给网络安全攻防带来新的挑战。9月17日,在“2026年国家网络安全宣传周——香港分论坛”上,香港警务处网络安全及科技罪案调查科总警司林焯豪表示,警务处与数码港公司已成立智慧警政联合人工

09/17
上一页 第 4 页 下一页
1CCF | 全球资讯
正在加载…