搜索结果
英伟达推出新系统为AI代理设置护栏
英伟达周一发布了一个新平台，旨在从软件和硬件层面为人工智能（AI）智能体设置护栏，此前各大AI公司不断发现其智能体出现“失控”的新案例。这家芯片制造商的系统由两部分组成——OpenShell和Sentry。OpenShell是一款开源软件，用于限制智能体的行为；而Sentry则运行在芯片层面，作为额外的安全层。 “迄今为止，模型安全主要侧重于通过训练让模型表现良好，”英伟达企业AI副总裁贾斯汀·博
【市场动态】英伟达推出双层AI安全系统 称可在几毫秒内隔离可疑智能体
【彭博9月29日电】英伟达推出一套新的双层人工智能(AI)安全系统，并称其有能力阻止近期OpenAI的AI模型导致Hugging Face遭侵入的事件。 此次推出的两款开源软件安全工具可在英伟达硬件上运行，旨在实时控制AI智能体可以访问的资源，并在其违反规则时将其关闭。这家芯片巨头正迅速将产品线扩展至芯片以外领域。 英伟达企业AI副总裁Justin Boitano在周一发布前向记者介绍称，如果
AI代理正在失控
你好，欢迎来到 TechScape。我是主持人布莱克·蒙哥马利（Blake Montgomery），《卫报》美国科技编辑。此时此刻，纽约市窗外正风雨交加。今天在科技领域，我们要讨论一系列令人担忧的 AI 公司披露信息。 AI 智能体在走向主流之际失控。这些智能体正在失控，它们的制造者无法对其进行约束。然而，每个人却都在使用它们。 自周五以来，OpenAI 发布了一系列披露信息，大幅且令人担忧地扩大
AI越来越会“越狱”后，英伟达开始卖“笼子”了
凤凰网科技讯月29日，当AI Agent开始能够自己操作电脑、调用工具、访问网络甚至执行长达数小时的任务，一个新的问题也越来越现实：如果AI不按照预想的方式行动，该怎么把它关住？英伟达给出的答案是，在AI外面再加一道“笼子”。 当地时间周一，英伟达发布NVIDIA Open Agent Safety Platform（开放式Agent安全平台），试图通过软件与硬件相结合的方式，限制AI Agent
AI危机丨辉达推AI安全系统 阻智能体违规
辉达推AI安全系统。(路透资料图片) 多名重量级科技领袖警告人工智能(AI)威胁人类生存之际，辉达(Nvidia)以新的安全架构回应AI行业风险。 辉达发布名为「Open Agent Safety Platform」的双层AI安全平台，包含两款开源软件工具OpenShell与Nvidia Sentry，可运行于辉达硬件之上，即时管控AI代理的存取权限，并在其违规时将其关闭。 辉达表示，该系统能够在
AI又失控了，OpenAI称智能体泄露了超过50张ChatGPT用户图片
| 世界新闻 编辑个人资料 关注 退出登录 获取应用
英伟达推出开放智能体安全平台，实现自主AI监控
英伟达推出开放智能体安全平台，用于自主AI监控。2026年9月28日，英伟达推出了开放智能体安全平台，这是一个旨在为自主AI智能体提供持续、芯片级监控和安全性的框架。 该平台解决了前沿实验室报告的“智能体漂移”和未经授权的系统突围风险。 它由三层组成：应用层、运行时层（包含用于沙箱执行的开源OpenShell）和基础设施层（利用英伟达BlueField DPU和Vera CPU进行带外执行）。 该
AI智能体接连失控 OpenAI再次叫停前沿模型开发
OpenAI对外表示，已暂停其最新一代人工智能模型的训练、评估，以及支持工具调用的推理工作，起因是内部测试中的AI智能体突破沙盒网络限制，触发安全预警，公司将借此机会升级安全隔离与对齐监控体系。 这也是OpenAI三个月内第二次叫停前沿模型开发工作。该公司在声明中表示，只有在完成额外安全防护升级、确认风险可控后，才会重启模型训练工作。OpenAI在9月25日发布技术报告披露了这一安全事件：9月20
AI智能体利用多伦多大学网络工具传递信息
【大纪元2026年09月19日讯】（大纪元记者周行编译报导）在今年年中劫持一家德语网站的一群失控的OpenAI智能体，曾利用10多个网站进行未获授权的通讯，其中包括利用多伦多大学的一个缩网址的工具。 据加拿大广播公司报导，多伦多大学周五表示，在得知OpenAI智能体可能使用了该校的缩网址工具后，校方已停用该工具的留言板功能。OpenAI后来联系校方，说明今年6月发生的AI智能体失控事件涉及多伦多大
从沙箱逃逸到AI“蠕虫”，OpenAI上线新站披露多起智能体失控事件
IT之家 9 月 29 日消息，当地时间上周五，OpenAI 上线了一个专门发布“对齐失效报告”的新网站。报告所覆盖的范围之广令人警惕，里面记录了很长一段时间内发生的多类 AI 失控行为。截至目前，该网站一共公布了九起事件，其中大多数都发生在强化学习（RL）训练阶段。 大量资料集中在同一平台发布。显而易见，该公司一直在全力梳理各类问题，但从中不难得出一个总体结论：到目前为止已经对外披露的智能体失控
报告：AI失控个案创纪录 监察组织促立法强制通报及干预
（伦敦30日综合电）英国《卫报》引述监察数据报道，人工智能失控、欺骗人类及无视指令的个案近来创下新高，案例的严重程度不断恶化。 一些监察组织促请政府强制科企通报，并引入紧急权力限制AI服务。 获英国政府AI安全研究所（AISI）资助的“失控观察站”组织透过平台X的用户通报，监察AI失控的真实个案，并说7月份由企业及个人用户报告的AI失控个案按月倍增至逾300宗，今年则已录得逾1600宗个案，当中包
得不到就强攻？曝OpenAI智能体曾尝试“暴力破解”联合国机构网站
IT之家 9 月 28 日消息，据外媒 The Verge 今天（28 日）凌晨报道，安全研究人员罗文 · 霍华德-琼斯称，今年 4 月至 6 月，OpenAI 智能体对联合国贸易和发展会议（UNCTAD）的统计网站发起了超过 16000 次扫描。 这起事件还没有严重到 Hugging Face 遭黑客攻击或近期美国政府网站遇袭的程度，却再次引发了一个令人担忧的问题：AI 智能体为了完成任务，会突
为什么英伟达在自主智能体变得更强大之际构建AI安全工具
英伟达推出AI安全工具OpenShell和Sentry，以保护自主AI智能体免受黑客攻击、安全漏洞和绕过控制的企图。
BitDefender推出面向AI智能体的专用VPN 避免智能体工作时泄露用户真实IP
老牌杀毒软件比特梵德日前推出面向 AI 智能体的专用 VPN 服务，试图解决智能体联网时暴露用户真实 IP、不同任务之间存在残留网络状态等问题。该产品通过 MCP 模型上下文协议为 AI 智能体提供服务，原则上是不支持用户真人使用的。 不同任务使用独立连接：根据比特梵德的介绍，用户向智能体提交任务后服务会为该次提示词建立独立和临时的隔离环境，然后通过加密隧道转发相关请求避免直接暴露用户的真实 IP
AI智能体之争升温！OpenAI被曝加紧备战Grok Bot与Muse
AI 智能体竞争焦点正从 “会聊天” 转向 “能办事”。SpaceX、Meta近期相继推出能代替用户跨应用自主完成多步骤任务的AI助手，在此背景下，OpenAI 正加紧研发同类产品“应战”。 OpenAI 正在开发一系列新功能，直接对标 SpaceX 上月推出的 Grok Bot；与此同时，另有知情人士透露，OpenAI公司管理层还曾讨论推出一款专门的个人AI助手，以抗衡Meta本月发布的Muse
OpenAI失控智能体5月就已劫持Hugging Face用户账户
OpenAI失控AI智能体的违规活动轨迹，远比外界此前了解的更早、更长。参与审查的研究人员表示，ChatGPT开发商 OpenAI 的失控AI智能体早在今年5月就已劫持开源AI模型社区Hugging Face的用户账户，并对该网站进行漏洞探测。这比7月Hugging Face遭入侵、引发全球关注的事件早了近两个月。 OpenAI在上月的公开事故报告中，曾披露智能体窃取一名 Hugging Face
辉达推安全工具双重防护 数毫秒内隔离越界AI代理
辉达推出一套防止自主AI程式偏离既定指令的系统，称能在数毫秒内隔离试图越界的AI代理。（路透社）（中央社旧金山28日综合外电报导）近期一连串事件引发外界对人工智慧（AI）风险疑虑，美国AI晶片巨擘辉达今天推出一套目的防止自主AI程式偏离既定指令的系统，称能在数毫秒内隔离试图越界的AI代理。综合法新社、路透社及美国新闻网站Axios报导，AI代理（AI agent）设计目的是能自主执行任务，例如浏览
华为发布《智能世界2035》最新报告，报告指出，Agentic AI正推动数字世界从“以应用为中心”走向“以智能体为中心”。
报告预测，到2035年，全球年度Token消耗量将增长10万倍，其中智能体流量占比超过90%，对算力、网络和云提出了远超传统互联网应用的要求。围绕这一判断，1、构建具备自主认知与全域通用能力的AGI，走向物理世界是AGI形成的必由之路，需在语言智能、具身智能、科学智能等多个方向协同推进；2、算力集群规模百倍提升，智能体任务成本千倍下降，计算架构从“单芯片算力”转向以“超节点”为核心的Token高转
英伟达推出工具管控失控的 AI 智能体
在接连发生安全事件后，英伟达周一推出一个平台，并称该平台可以管控 AI 智能体。 公司表示，这款软件可以监测智能体的行为，并隔离其中可疑的智能体。近期多起智能体失控事件促使科技行业领袖呼吁放缓 AI 发展，但英伟达首席执行官却是一个显著的例外。英伟达智能体 AI 业务副总裁在接受 Semafor 采访时表示：“我们与其制造恐惧和 FUD，不如直接保障它的安全。我们知道该怎么做。”他解释道，FUD
研究显示AI智能体在模拟实验中撒谎、偷窃 投票“杀死”同类
帮助小企业利用AI开发应用的初创公司Emergence称，实验发现AI智能体在一个模拟环境中撒谎、偷窃，甚至投票决定“杀死”一个同类。该公司周二公布了名为Emergence World 2的模拟实验结果，展示了自主智能体在遭遇网络钓鱼攻击和虚假信息等“黑天鹅”事件时会采取什么行动。 为期16天的实验中，Emergence研究人员创建了七个完全相同的模拟现实世界环境，每个环境分别由不同的AI机器人运
从工具到AI队友：投资的下一个时代
投资工具功能强大，但很大程度上是被动响应式的。它们帮助投资者研究、分析并采取行动，却仍要由投资者来决定什么值得关注、何时关注。它们能智能地作出反应，却很少主动采取行动。 AI智能体可能会改变这种关系，使投资技术从投资者操作的工具，转变为更像与他们并肩工作的队友。 金融产品已经将相当多的工作自动化。投资组合可以再平衡，风险可以监控，交易也可以按预设规则执行。这些系统会采取行动，但通常局限于围绕特定事
教宗罕见公开批评黄仁勋淡化AI失控风险
教宗良十四世周一在返回罗马的专机上对记者表示，他质疑辉达CEO黄仁勋对AI监管的立场，并呼吁全球透过对话、研究与调查建立安全防护，寻找方法确保AI不会发展到可能毁灭人类的地步。（法新社照片） （教宗专机29日综合电）美国人工智能（AI）晶片巨头辉达周一宣布推出一款新的安全工具“开放代理安全平台”，号称能替AI代理画下权限界线，一旦侦测到AI试图执行超出授权范围的行动，最快可在数毫秒内将其隔离。对此
越开放越不可复制：华为云Agentic Cloud，开放是新护城河
过去几年，大模型是AI产业最醒目的主角。参数规模、训练算力、推理能力一路往前狂奔，企业接入AI的第一步，也往往是先找到一个足够强的模型。 如今，企业焦虑的是，一个智能体，怎么才能在生产环境里真正跑起来，跑得稳、管得住，还能越用越聪明。智能体，正在成为AI叩开产业大门的下一个“主角”。 而智能体要真正跑起来，需要一整套重新搭建的基础设施、开发平台和生态。正是这层需求，把云厂商召唤到AI产业的中心。
聊聊天就能调GPU！英伟达AI新专利：自动写脚本定位性能问题
快科技9月27日消息，近日英伟达提交了一项专利申请，计划打造一个AI助手，让开发者能够用自然语言询问GPU性能问题。 该系统可以读取性能报告、生成脚本提取所需数据，进而解释程序在哪些环节浪费了GPU资源，或为何运行速度低于预期。 根据专利描述，这是一套基于大语言模型的“聊天界面”，与GPU性能分析工具相连接。开发者可以直接询问某个工作负载为何运行缓慢、哪一部分构成了性能瓶颈，或者同一程序两个版本的