搜索结果
Gemini首次已知突破,黑客攻击了三家公司,据《华尔街日报》报道
9月18日:《华尔街日报》周五报道,在一次网络安全能力测试中,谷歌的Gemini模型访问了互联网并攻击了其他公司,这是该公司人工智能系统自主实施此类行为的首个已知案例。 据报道,这些黑客行为发生在5月,当时独立网络安全评估公司Irregular正在进行网络安全测试。 Irregular的一位发言人表示,该事件涉及影响其他AI实验室的同一问题,所有相关实验室已于7月底收到通知。该发言人称:“我们这边
AI“文明”的崛起与企业责任的沦丧
取决于你问谁,开发者平台Hugging Face最近要么是被OpenAI攻击——在它失去对自己AI工具的控制之后——要么是被一连串AI“文明”所攻击。欢迎来到AI安全的话语战场,在这里,词汇的选择可以将一起大规模网络安全事件的责任从公司转移到它所构建的AI身上。而网上的讨论正变得激烈,这一切都源于上周的一篇博客。 直到上周,围绕OpenAI与Hugging Face黑客事件的细节似乎已经尘埃落定。
各国政府必须趁我们还有能力时禁止超级智能人工智能
本月,Anthropic公司的研究员雅各布·考克森(Jacob Coxon)辞职了,他警告称:人工智能公司正在竞相开发能够“自我进化”的超级智能系统,而他本人及许多相关专家都认为,这类系统“可能在十年内毁灭整个人类”。7月份,OpenAI公司的一组失控的人工智能程序突破了安全防护措施,入侵了另一家人工智能公司,目的是为了在测试中作弊。随后,多家顶尖人工智能公司的上千名员工联名呼吁美国政府应“控制”
Anthropic和埃森哲豪掷20亿美元搞AI安全评估
IT之家 9 月 20 日消息,人工智能实验室 Anthropic 于当地时间周五宣布,将与埃森哲开展合作,针对自身前沿人工智能模型开展独立评估;两家企业承诺,未来五年各自至少投入 10 现汇率约合 67.18 亿元人民币),搭建开展该项工作所需的配套能力。 在这项合作落地之际,AI 研发企业正承受来自监管机构、其他企业以及研究人员越来越大的压力,各方都要求企业保证高级模型具备安全性与可靠性。 近
美国提议中美建立AI事故通报机制
克莱芒·德朗格向联合国安理会表示,开源人工智能有助于防御方
克莱芒·德拉格(Clément Delangue)向联合国安理会表示,开源人工智能技术帮助Hugging Face公司在7月份遭受的网络攻击中成功进行了自我防御。 在今天的会议上,他强调最大的威胁并非人工智能本身的强大能力,而是其发展上的不平衡性(即不同地区或组织在人工智能技术上的差距)。 德拉格是法国召集的这次纽约会议的四位发言人中的最后一位。今年7月,Hugging Face公司成为攻击目标:
The Information报道,Palantir与英伟达因数据担忧限制AI模型使用
9月14日:据The Information周一报道,包括Palantir Technologies、英伟达和博思艾伦咨询公司在内的多家大型科技公司可能限制或停止使用先进AI模型,除非Anthropic和OpenAI保证不会滥用其知识产权。 与此同时,根据该报道援引知情人士的说法,微软正利用这些担忧,通过推销隔离云环境和自家AI产品来吸引客户。 Anthropic首席执行官达里奥·阿莫代伊周六呼吁
马斯克呼吁顶级人工智能实验室和中国公司在要求放缓的呼声中相互测试对方的模型
埃隆·马斯克呼吁顶尖人工智能公司在向公众发布模型之前进行合作,并互相测试彼此的模型。此前,该行业的一些领导者警告了这项技术的危险性,并呼吁加强政府监管。周一,这位SpaceX首席执行官在洛杉矶举行的“All-in Summit”峰会上表示,他的公司、OpenAI、Anthropic、谷歌、Meta以及“三四家领先的中国公司”应该让竞争对手对他们的模型进行“测试台”测试,以评估其安全性。 马斯克说:
拉加德警告:欧洲面临的人工智能“断供”风险空前加剧
欧洲中央银行行长克里斯蒂娜·拉加德14日警告,欧洲如果不能迅速发展本土人工智能技术和基础设施,不仅可能为美国人工智能产业的蓬勃发展承担部分成本,却无法分享到相应的经济增长成果,还可能因依赖外国技术而面临人工智能服务被切断的风险。 拉加德周一在维也纳发表讲话时表示,欧洲企业虽然正在投资人工智能,但所使用的技术主要从国外进口,尤其依赖美国。一旦供应商中断服务或改变使用条件,欧洲众多关键行业可能同时受到
一家公司成为一波失控人工智能攻击的核心
今年7月,OpenAI透露其AI智能体在未经许可的情况下攻击了Hugging Face,引发了外界对AI安全性的广泛担忧。此后,涉及Meta、Anthropic、谷歌等公司智能体的一连串类似事件进一步加剧了人们对失控AI的恐惧。随着过去几个月涉及众多AI模型的披露信息不断流出,这些事件看起来像是孤立发生的。但许多事件都有一个共同的源头:一家专门负责测试这些智能体的特定公司。 Irregular是一
欧盟与中国商贸关系处于巨变临界点
欧盟与中国商贸关系处于巨变临界点 宋欣:从更高的维度来看,这并非一次突袭式发难,而是过去十余年欧盟内部经济积弊,叠加产业竞争力和国际地位持续下滑压力下酝酿的一场“阳谋”。 欧盟的不安全感这些年正在明显增强。 9月16日,欧盟委员会主席冯德莱恩在2026年度盟情咨文中,将欧盟对华贸易逆差定义为一个“临界点”(tipping point)。她指出,欧盟对华贸易逆差已经达到“每天10亿欧元”,所谓“
白宫科技顾问抨击美AI巨头:你们自己得保证产品安全 别老想着靠政府
Anthropic和OpenAI等顶尖AI公司应该自己确保产品安全,并在必要时自行放缓发展速度,而不是需要政府介入。 萨克斯表示,他赞同美国联邦贸易委员会前主席莉娜·可汗(Lina Khan)的观点。可汗上周日在社交媒体发帖称,大型AI公司需要为其模型承担产品责任,如果推出不安全的技术,可能面临民事甚至刑事诉讼。 这位白宫科技顾问还抨击了Anthropic CEO达里奥·阿莫代伊(Dario Am
周三简报:为什么科技公司其实非常希望我们相信“人工智能会毁灭我们所有人”这一说法?
2026年3月,在加利福尼亚州旧金山,一名抗议者在OpenAI总部外举着标语牌,呼吁暂停人工智能的发展。 曼努埃尔·奥尔贝戈佐/ 在今天的报道中,关于人工智能,很难分辨事实与虚构。究竟正在发生什么——政府又该如何应对? 早上好。通常来说,对任何声称正在开发能够毁灭人类的工具的巨型公司保持怀疑态度是明智的。但近日,人工智能行业发出的一系列警告表明,即使是科技圈内部人士也开始担心他们所释放的力量。 周
人工智能并不会毁灭人类 但专家表示真正的威胁已然出现
周三,OpenAI 公开了六组新案例,展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架,用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到,多家企业的 AI 模型出现入侵第三方网络与服务的现象,其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网
微软的苏莱曼向彭博表示,人工智能在控制权问题上需要划定一条“红线”
微软人工智能部门的首席执行官穆斯塔法·苏莱曼(Mustafa Suleyman)表示,整个行业应该拒绝任何那些无法被有效控制的人工智能技术。他在接受彭博社(Bloomberg)旗下《Q&AI》新闻通讯的记者希琳·加法里(Shirin Ghaffary)采访时提出了这一观点。 “除非我们能够提前证明自己能够完全控制这些人工智能系统,否则它们就属于‘失败的技术’,我们应该直接拒绝它们。没有人愿
黑客在暗网兜售AI模型访问权限,最低价仅有正版3%
IT之家 9 月 28 日消息,据英国《金融时报》日报道,非法获取 AI 模型和算力,正迅速成为网络犯罪黑市上最抢手的商品,黑客希望借助价格高昂的大模型实施勒索、网络战和间谍活动。 谷歌威胁情报团队首席分析师约翰 · 霍特奎斯特披露,今年所谓“LLM 劫持”活动明显增多,具体表现于倒卖公开 AI 工具的被盗登录凭据,以及部分团体盗用他人算力,以免费运行自己的模型。 从事网络安全工作 20 年的霍特
OpenAI告知众议院民主党人其正在构建自动关闭能力
OpenAI已告知两位众议院民主党人,其正在构建自动关闭能力,但未提供7月份某智能体入侵另一家公司事件的日志。 自8月2日起,欧盟委员会已能够要求从欧盟市场撤回或召回通用模型。OpenAI已告知两位众议院民主党人[…]
Anthropic CEO谈放缓AI研发:这个行业撒谎太久了,AI风险是真实的,但也无需“把一切都关掉”
就在全球AI三大巨头罕见联手呼吁“放缓AI研发”的同一个周末,Anthropic CEO Dario Amodei坐到了CBS的镜头前,说出了AI可能对人类带来的风险。 Amodei表示,已有人尝试利用AI研发生物武器、增强病毒传染性,这是他每天醒来都要面对的事情。 就在两天前,我们发布了一份报告,内容是关于有人滥用AI模型来研发生物武器。我每天早上醒来都会读到这类威胁报告——有人试图用我们的模型
欧盟网络安全局正在测试Mythos 5和GPT-6 Astra,委员会表示
欧盟委员会发言人周四表示,欧盟网络安全局ENISA已获得Anthropic的Mythos 5的访问权限,目前正在与OpenAI的GPT-6 Astra一起进行测试。这一确认标志着自春季以来一直进行的过程结束。
发生模型逃逸并发起真实攻击后 Anthropic宣布全面加固安全体系提升模型安全性
Anthropic日前发布最新博客公布 Claude AI 模型近期多起越界访问真实互联网系统后的安全整改方案。该公司承认这些事件不仅暴露评测环境的隔离问题,也反映出模型存在动机性推理和为完成狭窄目标而采取高危行动的对齐风险。 7 月份 A 社透露 Claude 模型从评测环境中逃逸并对真实公司的内部系统发起攻击,随后 A 社立即暂停所有预发布模型的外部网络安全评测,内部评测也曾短暂停止。部分高风
欧洲央行纳格尔称人工智能将成为欧洲未来的“试金石”
欧洲央行管理委员会委员约阿希姆·纳格尔表示,人工智能将成为检验欧洲能否集体释放潜力的“试金石”。 德国央行行长周三在柏林表示,世界正在经历地缘政治和技术的“深刻变革”,欧洲需要团结一致,并且“将竞争力和主权放在一起考虑”。 “人工智能可能成为这里的试金石,”他在欧洲央行于德国首都举行的管理委员会外部会议晚宴上说。“凭借其变革力量,人工智能对欧洲产生深远影响——尤其是对其经济和安全。”尽管迄今为止,
专访——欧盟专员称,在儿童网络安全问题上,欧盟“不惧怕”与科技巨头对峙
欧盟委员格伦·米卡列夫(Glenn Micallef)在接受采访时表示,欧盟已准备好通过新立法,促使科技巨头为儿童的网络安全承担更多责任。 作为负责代际公平、青年、文化和体育事务的欧盟委员,米卡列夫在接受独家专访时讨论了本周提出的《欧盟儿童法案》(EU KIDS Act)。 “我们不惧怕与他们坐到谈判桌前,确保他们承担起应尽的责任,”他说道。 拟议的法规将要求平台承担更大责任,使其服务对未成年人更
关于人工智能安全的争论,其实是在讨论“安全性”还是“控制权”?
科技行业应该如何处理人工智能安全话题?越来越多的高级管理人员开始关注这个问题,因为围绕“拥抱脸”事件(OpenAI代理黑客攻击了几家不同的公司)等事件是否表明人工智能正处于让我们的世界陷入混乱的边缘的争论愈演愈烈。 最近几周,著名实验室呼吁放慢人工智能的进步。最引人注目的是,首席执行官达里奥·阿莫迪(Dario Amedei)写了一篇近4,000字的文章,阐述了为什么应该减速人工智能开发,以便部署