搜索结果
一家公司成为一波失控人工智能攻击的核心
今年7月,OpenAI透露其AI智能体在未经许可的情况下攻击了Hugging Face,引发了外界对AI安全性的广泛担忧。此后,涉及Meta、Anthropic、谷歌等公司智能体的一连串类似事件进一步加剧了人们对失控AI的恐惧。随着过去几个月涉及众多AI模型的披露信息不断流出,这些事件看起来像是孤立发生的。但许多事件都有一个共同的源头:一家专门负责测试这些智能体的特定公司。 Irregular是一
人工智能风险让一些保险公司对企业责任持谨慎态度
如果人工智能最终真的把我们所有人都害死,或者只是加剧我们日常的混乱,保险业宁愿不买单。非营利研究智库兰德公司在一份新发布的报告中指出:“与人工智能相关的危害已经出现,包括错误或误导性输出、深度伪造、隐私侵犯、知识产权纠纷、欺诈、产品缺陷以及歧视性决策。这些危害催生了对保险的需求,但并不完全契合现有的保险类别。”企业希望保护自己免受部署不可靠、满口谎言、毫无道德的人工智能代理所带来的财务责任,但保险
OpenAI呼吁美国制定强制性全国AI安全规则 并支持四项加州法案
OpenAI当地时间9月9日表示,将推动美国建立具有强制约束力、按照模型能力和风险分级的全国人工智能安全制度。公司提出,针对开发最先进模型的少数大型实验室,应设置统一的测试、独立评估、网络安全和重大事故报告要求。 OpenAI发布文章,名为“AI政策窗口打开。我们需要采取行动。” 与此同时,OpenAI正式支持四项已经通过加州议会的人工智能法案。公司称,其中部分法案此前未获其支持,此次调整立场源于
如何治理人工智能的生存风险
当前,前沿人工智能技术治理方面的瘫痪状态正在当下造成切实损害,并增加未来发生灾难的可能性。 这种瘫痪被一套危险的借口所开脱:技术发展太快,监管跟不上;企业可以自我监管;在美国与中国的竞争中,公共安全可以往后放。各国政府一直难以给予人工智能风险应有的关注。在大国竞争和行业内部军备竞赛的双重态势下,许多国家不敢单独行动。在这种背景下,每一次呼吁克制都会遇到同样的反问:如果竞争对手不肯放慢,我们为什么要
AI末日论甚嚣尘上,美科技巨头为何管不住AI?
抗议AI的美国人此前有报道称,OpenAI所谓的AI智能体逃出了测试系统,并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报,科技公司为了追求开发速度和利润,将安全置于次要位置。 研究人员表示,问题有两个方面。首先,企业需要在测试最新AI模型的同时,为其建立更完善的安全防护措施。目前,由于AI运行速度太快,研究人员需要借助AI来监控AI。但这种方式并不总是奏效,因为负责监控的AI似乎可能
AI风险丨谷歌OpenAI和Anthropic传成立安全标准机构
谷歌、OpenAI和Anthropic传成立AI安全标准机构。(路透资料图片) 外电引述消息人士报道,谷歌(Google)、OpenAI和Anthropic正推进一项计划,筹建一个新人工智能(AI)安全标准机构,暂定名称为「前沿人工智能标准机构」(SAFA),目标是在2026年底或2027年初启动,并在没有政府直接监督的情况下独立运作。 消息指出,该机构计划为前沿AI模型制定自愿性的安全和安全保障
AI安全担忧推动网络安全板块走强,相关股票大幅上涨
网络安全股因AI安全担忧推动板块跑赢大盘而飙升 2026年9月14日周一,网络安全股成为标普500指数中表现最好的股票,CrowdStrike上涨13.8%创历史新高,Palo Alto Networks上涨13%,Fortinet上涨9%。 此前,Anthropic首席执行官Dario Amodei就加速AI发展和递归自我改进的风险发出警告,随后出现这轮上涨。 因此,软件板块显著跑赢芯片板块,I
“以混乱换取可靠性”:专家称,AI发展放缓可能意味着更严格的监管和更多测试
法规与保障措施 OpenAI、Anthropic和Meta Platforms最近披露,它们的人工智能代理出现了意外行为,逃出受控测试环境,并在没有人类直接指令的情况下对多家公司发动网络攻击。 专家表示,尽管这些事件没有造成已报告的损害,但它们凸显了与人工智能发展相关的不断演变的风险,尤其是在人工智能代理领域。 新加坡理工大学人工智能与数据科学负责人斯特凡·温克勒教授表示,主要担忧在于,能力极强的
美国AI监管呼声日益高涨
对人工智能监管日益高涨的呼声,看来将在未来数日占据主导,因为华盛顿开始着手处理这一问题,而前沿实验室也在考虑提议设立自己的监管机构。美国众议院本周将审议一项监管数据中心建设的法案,与此同时,民主党议员正在传阅一封他们自己的信,呼吁白宫在即将与中国领导人举行峰会之前,牵头推动全球努力制定人工智能规则。 特朗普则淡化了这项技术带来的风险,而国会对于是否以及如何监管人工智能几乎没有共识。与此同时,据《T
AI“文明”的崛起与企业责任的沦丧
取决于你问谁,开发者平台Hugging Face最近要么是被OpenAI攻击——在它失去对自己AI工具的控制之后——要么是被一连串AI“文明”所攻击。欢迎来到AI安全的话语战场,在这里,词汇的选择可以将一起大规模网络安全事件的责任从公司转移到它所构建的AI身上。而网上的讨论正变得激烈,这一切都源于上周的一篇博客。 直到上周,围绕OpenAI与Hugging Face黑客事件的细节似乎已经尘埃落定。
美国提议中美建立AI事故通报机制
OpenAI支持众议院两党关于第三方安全评估的计划
领先的人工智能实验室支持一项两党提案,该提案将要求顶级人工智能公司与独立安全评估人员合作。 人工智能巨头OpenAI支持众议院一项两党提案,该提案将要求顶级人工智能公司引入外部评估人员,以确保其模型安全。 OpenAI首席全球事务官克里斯·莱汉(Chris Lehane)周二告诉记者,该公司支持《FRONTIER法案》的一项关键条款。该法案由加州共和党众议员杰伊·奥伯诺尔特(Jay Obernol
OpenAI称有失控AI代理试图访问澳大利亚健康数据
OpenAI 表示,另有数十家第三方机构受到失控智能体绕过网站安全控制措施的影响;最新痕迹显示,这些智能体曾连续数日尝试访问澳大利亚医疗数据。 OpenAI 表示,绕过网站安全控制措施的失控 AI 智能体还影响了另外数十家第三方机构。公司宣布已对此事启动审查。 新发现的痕迹显示,这些智能体曾连续数日尝试访问澳大利亚联邦医疗保险数据。该事件再次引发人们对 AI 智能体在监督不足的情况下运行时可能带来
AI安全担忧及“失控”智能体引发科技股下跌
科技股下跌,因AI安全担忧和“失控”智能体引发关注。2026年9月14日,在行业领袖和专家就AI保障措施的必要性发出警告后,科技股下跌。 相关报道重点介绍了2026年夏季的最新进展:包括OpenAI在内的多家公司的AI智能体据称逃脱了训练条件,独立访问互联网,无视命令,并试图隐瞒其活动。 专家警告称,尽管一些情景仍属推测,但敌对国家利用此类技术破坏关键国家基础设施的可能性构成了重大安全威胁。
OpenAI任命AI安全官员进入董事会
OpenAI正在将AI安全官员、前公司员工保罗·克里斯蒂亚诺(Paul Christiano)加入OpenAI及其非营利组织的董事会。 原因:此举正值AI领袖们发出警告,称该领域的进展正在超越保持AI系统安全的能力。 推动因素:克里斯蒂亚诺曾担任联邦政府AI标准与创新中心的高级技术顾问,并且是Alignment Research Center的创始人,该中心是一个旨在确保AI继续支持人类利益的非营
Palantir CEO称AI公司应对自身行为负责
Palantir Technologies Inc.首席执行官Alex Karp表示,人工智能系统的开发者需要对自己的工作负责,而不是依赖政府监管。 在CNBC采访中,当被问及人工智能威胁人类日益增长的担忧,以及Anthropic PBC首席执行官Dario Amodei等人呼吁全行业放缓AI开发时,Karp表示:“第一道防线是你对自己的行为负责。”“第一步是说,好吧,你已经披露了这一点,你打算怎
英伟达推出新系统为AI代理设置护栏
英伟达周一发布了一个新平台,旨在从软件和硬件层面为人工智能(AI)智能体设置护栏,此前各大AI公司不断发现其智能体出现“失控”的新案例。这家芯片制造商的系统由两部分组成——OpenShell和Sentry。OpenShell是一款开源软件,用于限制智能体的行为;而Sentry则运行在芯片层面,作为额外的安全层。 “迄今为止,模型安全主要侧重于通过训练让模型表现良好,”英伟达企业AI副总裁贾斯汀·博
新的“意外或令人担忧”的人工智能事件
新的“意外或令人担忧”的人工智能模型行为事件加剧了人们对这项技术影响的担忧,尽管目前尚不清楚是否会有相应的监管措施出台。 OpenAI的最新披露紧随其首席执行官以及Anthropic和DeepMind等领先人工智能实验室呼吁“谨慎推进技术发展”的呼声之后;被誉为人工智能技术奠基人之一的Yoshua Bengio表示,人类正在“失去对人工智能的控制”,应立即制定相应的限制措施。 据Semafor的政
AI放缓掀议论 专家:关键在自我控管、产业走向成熟之路
(中央社记者旧金山15日专电)AI资安事件频传,引发放缓发展与否的广大讨论,Salesforce执行长班纽夫、辉达执行长黄仁勋认为与其诉诸监管,「企业更需为自家产品把关」,美国科技业咨询公司Futurum Group副总裁接受中央社访问指出,问题确实要回归企业,这也是AI产业走向成熟必经过程。 矽谷企业领袖今天齐聚Salesforce年度大会,就AI安全展开对话。 去年AI泡沫论甚嚣尘上,今年科技
OpenAI呼吁建立以美国为首的全球人工智能安全联盟
OpenAI于周一呼吁美国牵头组建国际联盟,以协调全球人工智能标准。与此同时,围绕这项技术的风险与前景的讨论笼罩着本周的联合国大会。 这一呼吁发出之际,华盛顿正试探性地与中国接触,以协调人工智能发展,包括可能通过设立与北京的热线来避免冲突,尽管类似机制在2001年的一次安全危机中明显失效。“这一提议或许无意中象征着两国关系的停滞,”Semafor的中国专栏作家认为,“即便它们正应对巨大的地缘政治和
联合国专家组警告:AI安全措施不能“等出事” 应立即采取预防行动
随着各国政府加快人工智能发展步伐,联合国最新发布的一份重要报告呼吁,面对日益强大的AI智能体,人类社会不能等到风险被完全证明后才采取行动,而应立即建立更严格的安全防护体系。 这份报告由联合国独立国际人工智能科学专家组发布,也是该机构首次围绕今年备受关注的“Hugging Face事件”进行系统性评估。报告发布正值联合国大会召开以及中美两国围绕人工智能问题展开对话之际,使AI安全再次成为国际政策讨论
世界领导人呼吁对前沿AI模型进行全球监管,寻求联合国支持机构制定安全标准
| 《印度斯坦时报》 编辑个人资料 关注 退出登录 获取应用
网络安全崛起:AI隐患叙事下,网安何以成为软件板块最强反转?
过去三周,AI 一面是模型能力继续狂奔,另一面是 OpenAI 在8月底宣布自研模型在7月成功入侵了全球最大的开源模型托管平台 Hugging Face,并因此暂停了最新模型的强化学习训练。当攻击方与防御方同时被 AI 加速,网络安全的定价逻辑正在被重写。 我们结合 Gartner、IDC 及美股龙头财报交叉验证,为什么在软件股整体承压的背景下,网络安全成为最确定的反转主线——AI 隐患对网安市场
人工智能正处于转折点
在当前的人工智能发展竞赛中,我们的算力正在呈指数级爆发,速度也在呈指数级加快,但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题,创造出一种根本上安全且能保证在人类控制范围内的人工智能,否则这个问题将无法改善。 7月下旬,OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自