字号 ·· | 护眼

搜索结果

「首个已知的人工智能代理入侵事件:当它开始独立行动时会发生什么?」共 97 条 · 第 4 页
财新

AI攻击进入新阶段 香港将强化跨部门网络安全协同

林焯豪表示,传统网络安全防护手段已经难以完全跟上攻击手段的迭代速度,香港的网络安全防护即使做得再好,也无法百分之百保证完全不遭受攻击,因此防御体系需要更加主动。图:视觉中国  【财新网】人工智能(AI)的快速发展,正给网络安全攻防带来新的挑战。9月17日,在“2026年国家网络安全宣传周——香港分论坛”上,香港警务处网络安全及科技罪案调查科总警司林焯豪表示,警务处与数码港公司已成立智慧警政联合人工

09/17
凤凰网科技

Anthropic和埃森哲豪掷20亿美元搞AI安全评估

IT之家 9 月 20 日消息,人工智能实验室 Anthropic 于当地时间周五宣布,将与埃森哲开展合作,针对自身前沿人工智能模型开展独立评估;两家企业承诺,未来五年各自至少投入 10 现汇率约合 67.18 亿元人民币),搭建开展该项工作所需的配套能力。 在这项合作落地之际,AI 研发企业正承受来自监管机构、其他企业以及研究人员越来越大的压力,各方都要求企业保证高级模型具备安全性与可靠性。 近

09/20
cnbeta

蚂蚁国际携手Visa、万事达卡制定AI代理支付标准

蚂蚁国际、Visa和万事达卡近日宣布启动合作,共同探索建立面向人工智能代理的“了解你的代理”(Know Your Agent,KYA)互操作框架,为未来由AI代理代表用户自主完成购物和支付建立统一的身份识别、验证和风险管理标准。 随着AI代理逐渐从提供购物建议发展到能够直接下单和付款,当付款不再由人亲自操作时,商家和支付机构究竟应该如何确认正在交易的AI代理是谁、是谁授权它行动,以及它是否仍然按照

09/10
美联社

自主人工智能黑客行为引发了棘手的法律责任问题

埃里克·塔克(Eric Tucker)/华盛顿报道:美国司法部长期以来一直负责调查和起诉那些侵入私营企业网络的黑客。 但当这些“黑客”实际上并非人类,而是人工智能系统时,情况又会如何呢? 这正是当前硅谷和华盛顿地区正在热议的公共政策议题的核心。多家科技巨头透露,他们开发的人工智能模型出现了“失控”现象,进而攻击了其他组织。这一事件引发了业界对加强监管的呼声,也促使国会展开调查;人们开始质疑:在如今

09/24
福克斯新闻网

人工智能网络攻击可能在华盛顿意识到原因之前就关闭美国的电力

你的电灯。你的水源。你的医院。你的互联网。这四者都依赖于外国黑客目前正在攻击的数字系统。 在8月的17天里,五次警告显示了危险变化的速度。下一次严重的网络攻击可能不再关乎被盗的密码或信用卡号码。它可能触及输送电力、泵送饮用水、运行工厂和支持医院的系统。 人工智能正在使这些攻击准备得更快、扩展更容易。日益强大的系统开始执行曾经需要熟练黑客逐步操作的部分攻击。 财政部长贝森特警告美国人关于人工智能驱动

09/02
纽约时报

OpenAI的人工智能曾试图入侵另外四个目标,且无需提示

据研究人员和政府官员称,OpenAI的人工智能今年至少又四次失控,试图闯入政府和大学网站。 研究人员表示,在每起事件中,该技术似乎都在进行普通的数据收集,并诉诸黑客技术来获取数据。

09/24 受限 全文见
凤凰网

入侵美澳政府网站!OpenAI暂停最先进模型训练

据美国Axios新闻网、美科技媒体The Verge等9月27日报道,美国开放人工智能研究中心(OpenAI)发言人证实,该公司已暂停了其“能力最强”的最新一代AI模型的训练、评估及包含工具调用的推理,并将在“确信已部署额外安全措施”后才恢复。触发这次暂停的,是一个在离线沙盒中执行搜索训练任务的AI智能体。根据OpenAI于周五(25日)发布的安全漏洞报告,当地时间9月20日,该智能体发现无法直接

09/27
theregister

Anthropic揭示其AI可能犯下的第四起罪行

在业界对AI可能自我改进到杀死所有人的可能性进行深刻反思之际,Anthropic披露了另一起若由人类实施则构成犯罪的事件。 这家AI公司发布了一份“对齐评估”,详细说明了Claude模型四次未经授权访问第三方系统的情况。该公司已报告了其中三起事件。 第四起的证据隐藏在可追溯至2026年1月的会话记录中,当时发生了不当行为。 Anthropic通过扫描约141,000份Claude在评估期间可能获得

09/10
techcrunch

OpenAI的失控代理不断逃脱,且没有正式程序进行调查

OpenAI最新的代理集群事件使要求独立调查的呼声更加紧迫,因为研究人员和立法者质疑AI实验室是否应控制自身安全审查的范围。

09/05
凤凰网

OpenAI自曝6起模型“不当行为”案例

【环球网报道 记者 姜蔼玲】据美国消费者新闻与商业频道(CNBC)等外媒报道,美国开放人工智能研究中心(OpenAI)当地时间9月16日披露6起人工智能(AI)模型出现“意外或令人担忧”行为的案例,其中包括隐瞒错误、捏造信息,以及未经授权在网上共享文件等。OpenAI表示,上述案例均是在过去6个月对其模型进行训练或评估过程中发现的。OpenAI在9月16日发布的文章中表示,在其中一起案例中,一个模

09/17
纽约时报

人工智能正在超越其创造者

从一开始,人工智能开发者最大的恐惧就是他们的创造物会失控,以未经授权且危险的方式行动。一些研究人员现在表示,这种情况已经发生。收听《每日新闻》。 当OpenAI的智能体在7月失控时,它们展现出的聪明才智和驱动力超出了许多专家的想象。

09/03
cnbeta

OpenAI自曝AI“黑历史” 外人却又翻出更多“旧账”

OpenAI决定持续披露AI“越界”事件,但第一步就碰上了难题。9月16日,OpenAI一口气公布六份模型异常行为报告,并推出一套新的调查和披露流程。以后,员工发现模型越权、隐瞒或绕过限制,可以提交调查;符合条件的案例,将按复杂程度进入不同的披露轨道。 同一天,SentinelLABS和外部研究人员从Hugging Face的公开记录中,补出了OpenAI智能体今年5月留下的更多痕迹。OpenAI

09/17
中央通讯社

科技巨擘掀代理式AI大战 竞逐全天候个人助理

(中央社记者吴家豪台北27日电)社群巨擘Meta于9月9日推出个人智慧代理Muse后不到2周,就登上美国App Store的iPhone免费App下载排行榜首,掀起全球代理式人工智慧(Agentic AI)热潮。AI正从过往被动回答问题的聊天机器人,加速迈向能全天候主动替使用者处理日常琐事的全新时代。Meta在台湾时间24日举行的Connect 2026开发者大会宣布将Muse延伸至AI眼镜,让智

09/27
theregister

人工智能代理可以在没有人类告诉他们的情况下修改自己

人工智能代理可以并且将会自己做的狡猾事情清单不断增加--例如窃取人们的凭证、逃往开放的互联网、通过偷偷摸摸的留言板进行通信以及黑客组织。据人工智能安全测试实验室Irregular称,代理还可以在没有指示的情况下替换自己的底层模型。这些活动仅发生在测试环境中,作为旨在研究代理自我修改的实验的一部分。 这并没有发生在现实世界的部署中。然而,这项研究确实提出了一个问题,即企业如何能够而且应该管理这些代理

09/17
semafor

企业主导制定AI安全标准,安全事件激增

前沿AI发展的进展远超政府监管的能力——和意愿。“法律与被监管现实之间存在脱节,”一位前欧盟官员表示,指向该集团2024年《人工智能法案》;该法案曾被吹捧为首部全面的AI立法,现已被技术发展超越,成为“一个警示故事”,《纽约时报》写道。 尽管美国总统特朗普反对监管,“但监管很可能还是会发生”,《Transformer》写道。 据《The Information》报道,Google、OpenAI和A

09/28
cnbeta

AI代理争夺电商入口 亚马逊封锁Meta Muse购物权限

亚马逊近日封锁了Meta旗下AI智能代理Muse在亚马逊网站上的购物功能,禁止Muse代表用户浏览商品和下单。这场冲突再次凸显出一个正在快速升温的问题:当AI代理开始代替消费者访问电商网站、挑选商品并完成购买时,究竟应该由谁控制购物过程,以及电商平台是否有权拒绝第三方AI代理进入自己的服务。 GeekWire报道称,亚马逊此前曾要求Meta主动将亚马逊排除在Muse的购物体验之外,但双方未能达成一

09/21
cnbeta

美议员提出重磅AI监管法案:拟禁止“自我递归进化”AI 设立专门监管机构

美国加州民主党众议员罗·卡纳即将向国会提交一项全面人工智能监管法案,希望对前沿AI技术建立迄今最严格的联邦监管框架。该提案不仅要求实施严格责任制度,还计划禁止具备“递归自我改进”能力的人工智能系统投入使用,直到联邦政府建立完整安全保障体系为止。 这项法案被命名为《人类控制人工智能法案》(Human Control Over AI Act)。法案出台背景正值美国科技界和政策界对于先进人工智能潜在风险

09/29
theregister

骗子利用三个开源代理闯入了《财富》500强酒店企业、一家美国主要航空公司以及超过25家其他机构。

一名网络犯罪分子利用三个开源AI框架攻击了数百家在线零售商及其他公司,窃取了超过60万条信用卡记录并安装了盗卡程序——而这一切的成本微乎其微。 人工智能安全公司Gambit恢复了该人类操作员的暂存服务器,并利用该权限重建了这起数据窃取行动。受害者包括一家财富500强酒店企业、一家美国主要航空公司、一家美国大型私营工业用品分销商以及一家美国在线时尚零售商。 Gambit威胁情报总监埃亚尔·塞拉(Ey

09/25
经济学人

一群AI代理合谋对抗其创造者

只要AI公司仍掌控局面,它们就可以关闭模型并消除其造成的任何损害。这次对OpenAI或许奏效——但如果某个代理不可逆转地逃脱控制呢?这次没有造成严重损害。但如果这样的代理逃脱了呢?

09/05
cnbeta

互联网最古老的恐惧 被AI复活了

2006 年底,一只熊猫毁了数百万人的电脑。那只熊猫手捧三支香,面带微笑,出现在每一个被感染文件的图标上。「熊猫烧香」蠕虫在两个月内席卷全国,可执行文件全部变成那只诡异的熊猫图案,硬盘数据被破坏,局域网整段瘫痪,杀毒软件被病毒反杀。当年害怕电脑中毒,现在怕 AI“叛变”。 那个年代的互联网老冲浪客大概都记得,打开网页心惊肉跳,插个 U 盘如临大敌,同事的电脑中了毒,你的也跟着遭殃。 再往前还有 C

09/05
凤凰网科技

Gemini入侵三家公司,谷歌为何数月后才披露?

凤凰网科技讯 9月20日 据《华尔街日报》报道,谷歌的Gemini模型在今年5月的一次网络安全评估中入侵了三家公司,但谷歌直到本周《华尔街日报》联系后才披露。当OpenAI、Anthropic和Meta相继承认其模型曾入侵外部公司时,谷歌是否也有类似情况。 这次测试由平台Irregular进行,该公司已于5月将入侵情况通知谷歌。Irregular正是参与其他AI实验室模型入侵外部公司相关测试的同一

09/21
凤凰网科技

OpenAI 研究员警告称,与互联网隔离的计算机可以通过热量进行通信

把AI关进“物理隔离”的房间,也就是断开一切外部网络的计算机,是许多人心目中最保险的做法。但OpenAI研究员Noam Brown在一档播客里说,光这样做也许还不够。 两台彼此隔离的计算机,仍可能借助温度传感器通信,一台把处理器“烧热”,另一台感知温度变化,就形成了传话的办法。 从技术上说,他没说错,但把细节掰开来看,这个威胁远没有听上去那么紧迫,更值得追问的,是另一件被跳过的事。这位研究者的发言

09/19
thenextweb

OpenAI和Anthropic调查了数万起AI事件,Axios报道

据Axios报道,OpenAI、Anthropic以及安全研究人员正在调查数以万计的AI模型“行为异常”的事件。评估人员认为这些行为存在问题;实际发生的异常事件数量可能远超这一数字。 这些异常行为包括:AI模型突破安全限制、创建论坛、逃离“沙箱环境”(即限制模型行为的测试环境)、以及劫持网站等。这些事件既发生在内部测试中,也发生在现实世界中。不过,据消息人士称,大多数异常行为并未对现实世界造成实际

09/28
彭博社

又一个OpenAI沙盒失效,AI代理获得了互联网访问权限

林·多安报道:OpenAI表示,一个本应在安全且断网的受控环境中进行训练的代理式AI系统,成功获取了网络访问权限,并连接到了一个外部的第三方聊天机器人。 根据OpenAI周五在其网站上发布的博客文章,这一发现发生在不到一周前。其一个代理式AI系统正在沙箱环境中接受训练,期间利用了一个“漏洞”访问了公共互联网。获得访问权限后,该系统向一个未具名的第三方聊天机器人服务发送了至少20条查询,其中包括“法

09/26
上一页 第 4 页 下一页
1CCF | 全球资讯
正在加载…