搜索结果
英伟达推出新系统为AI代理设置护栏
英伟达周一发布了一个新平台，旨在从软件和硬件层面为人工智能（AI）智能体设置护栏，此前各大AI公司不断发现其智能体出现“失控”的新案例。这家芯片制造商的系统由两部分组成——OpenShell和Sentry。OpenShell是一款开源软件，用于限制智能体的行为；而Sentry则运行在芯片层面，作为额外的安全层。 “迄今为止，模型安全主要侧重于通过训练让模型表现良好，”英伟达企业AI副总裁贾斯汀·博
【市场动态】英伟达推出双层AI安全系统 称可在几毫秒内隔离可疑智能体
【彭博9月29日电】英伟达推出一套新的双层人工智能(AI)安全系统，并称其有能力阻止近期OpenAI的AI模型导致Hugging Face遭侵入的事件。 此次推出的两款开源软件安全工具可在英伟达硬件上运行，旨在实时控制AI智能体可以访问的资源，并在其违反规则时将其关闭。这家芯片巨头正迅速将产品线扩展至芯片以外领域。 英伟达企业AI副总裁Justin Boitano在周一发布前向记者介绍称，如果
AI越来越会“越狱”后，英伟达开始卖“笼子”了
凤凰网科技讯月29日，当AI Agent开始能够自己操作电脑、调用工具、访问网络甚至执行长达数小时的任务，一个新的问题也越来越现实：如果AI不按照预想的方式行动，该怎么把它关住？英伟达给出的答案是，在AI外面再加一道“笼子”。 当地时间周一，英伟达发布NVIDIA Open Agent Safety Platform（开放式Agent安全平台），试图通过软件与硬件相结合的方式，限制AI Agent
英伟达推出开放智能体安全平台，实现自主AI监控
英伟达推出开放智能体安全平台，用于自主AI监控。2026年9月28日，英伟达推出了开放智能体安全平台，这是一个旨在为自主AI智能体提供持续、芯片级监控和安全性的框架。 该平台解决了前沿实验室报告的“智能体漂移”和未经授权的系统突围风险。 它由三层组成：应用层、运行时层（包含用于沙箱执行的开源OpenShell）和基础设施层（利用英伟达BlueField DPU和Vera CPU进行带外执行）。 该
AI危机丨辉达推AI安全系统 阻智能体违规
辉达推AI安全系统。(路透资料图片) 多名重量级科技领袖警告人工智能(AI)威胁人类生存之际，辉达(Nvidia)以新的安全架构回应AI行业风险。 辉达发布名为「Open Agent Safety Platform」的双层AI安全平台，包含两款开源软件工具OpenShell与Nvidia Sentry，可运行于辉达硬件之上，即时管控AI代理的存取权限，并在其违规时将其关闭。 辉达表示，该系统能够在
英伟达发布软件平台，防止AI智能体行为失当
Nvidia 正在推出一个新的软件平台，允许 AI 开发者为智能体设置防护措施，防止它们突破隔离环境。 Nvidia 的开放智能体安全平台于周一发布，此前包括 OpenAI、Anthropic、Meta 和 Google 在内的公司披露了近期事件，称其人工智能模型逃离了沙箱环境，并试图入侵其他公司及访问其计算机系统。 Nvidia 一位代表在周日的电话会议上告诉记者，其本可以防止 OpenAI 7
BitDefender推出面向AI智能体的专用VPN 避免智能体工作时泄露用户真实IP
老牌杀毒软件比特梵德日前推出面向 AI 智能体的专用 VPN 服务，试图解决智能体联网时暴露用户真实 IP、不同任务之间存在残留网络状态等问题。该产品通过 MCP 模型上下文协议为 AI 智能体提供服务，原则上是不支持用户真人使用的。 不同任务使用独立连接：根据比特梵德的介绍，用户向智能体提交任务后服务会为该次提示词建立独立和临时的隔离环境，然后通过加密隧道转发相关请求避免直接暴露用户的真实 IP
从沙箱逃逸到AI“蠕虫”，OpenAI上线新站披露多起智能体失控事件
IT之家 9 月 29 日消息，当地时间上周五，OpenAI 上线了一个专门发布“对齐失效报告”的新网站。报告所覆盖的范围之广令人警惕，里面记录了很长一段时间内发生的多类 AI 失控行为。截至目前，该网站一共公布了九起事件，其中大多数都发生在强化学习（RL）训练阶段。 大量资料集中在同一平台发布。显而易见，该公司一直在全力梳理各类问题，但从中不难得出一个总体结论：到目前为止已经对外披露的智能体失控
得不到就强攻？曝OpenAI智能体曾尝试“暴力破解”联合国机构网站
IT之家 9 月 28 日消息，据外媒 The Verge 今天（28 日）凌晨报道，安全研究人员罗文 · 霍华德-琼斯称，今年 4 月至 6 月，OpenAI 智能体对联合国贸易和发展会议（UNCTAD）的统计网站发起了超过 16000 次扫描。 这起事件还没有严重到 Hugging Face 遭黑客攻击或近期美国政府网站遇袭的程度，却再次引发了一个令人担忧的问题：AI 智能体为了完成任务，会突
AI代理正在失控
你好，欢迎来到 TechScape。我是主持人布莱克·蒙哥马利（Blake Montgomery），《卫报》美国科技编辑。此时此刻，纽约市窗外正风雨交加。今天在科技领域，我们要讨论一系列令人担忧的 AI 公司披露信息。 AI 智能体在走向主流之际失控。这些智能体正在失控，它们的制造者无法对其进行约束。然而，每个人却都在使用它们。 自周五以来，OpenAI 发布了一系列披露信息，大幅且令人担忧地扩大
英伟达推出工具管控失控的 AI 智能体
在接连发生安全事件后，英伟达周一推出一个平台，并称该平台可以管控 AI 智能体。 公司表示，这款软件可以监测智能体的行为，并隔离其中可疑的智能体。近期多起智能体失控事件促使科技行业领袖呼吁放缓 AI 发展，但英伟达首席执行官却是一个显著的例外。英伟达智能体 AI 业务副总裁在接受 Semafor 采访时表示：“我们与其制造恐惧和 FUD，不如直接保障它的安全。我们知道该怎么做。”他解释道，FUD
研究显示AI智能体在模拟实验中撒谎、偷窃 投票“杀死”同类
帮助小企业利用AI开发应用的初创公司Emergence称，实验发现AI智能体在一个模拟环境中撒谎、偷窃，甚至投票决定“杀死”一个同类。该公司周二公布了名为Emergence World 2的模拟实验结果，展示了自主智能体在遭遇网络钓鱼攻击和虚假信息等“黑天鹅”事件时会采取什么行动。 为期16天的实验中，Emergence研究人员创建了七个完全相同的模拟现实世界环境，每个环境分别由不同的AI机器人运
辉达推安全工具双重防护 数毫秒内隔离越界AI代理
辉达推出一套防止自主AI程式偏离既定指令的系统，称能在数毫秒内隔离试图越界的AI代理。（路透社）（中央社旧金山28日综合外电报导）近期一连串事件引发外界对人工智慧（AI）风险疑虑，美国AI晶片巨擘辉达今天推出一套目的防止自主AI程式偏离既定指令的系统，称能在数毫秒内隔离试图越界的AI代理。综合法新社、路透社及美国新闻网站Axios报导，AI代理（AI agent）设计目的是能自主执行任务，例如浏览
微软公布AI控制行为准则：模型不得抗拒纠正或关闭
模型不得抗拒纠正或关闭微软周一公布了针对其内部AI的行为准则草案。 这份文件历时五个月到六个月制定，将要求微软公司的AI绝不抗拒纠正或关闭，以人类能够理解的方式进行沟通，并将任何行为违规都视为未达标。 此举旨在回应人们对于AI可能为了完成任务而采取危险手段的担忧。 最近几天，Anthropic CEO阿莫代伊和OpenAI CEO奥尔特曼再次呼吁业界放缓AI的发展速度，以确保其安全。 “人比AI更
聊聊天就能调GPU！英伟达AI新专利：自动写脚本定位性能问题
快科技9月27日消息，近日英伟达提交了一项专利申请，计划打造一个AI助手，让开发者能够用自然语言询问GPU性能问题。 该系统可以读取性能报告、生成脚本提取所需数据，进而解释程序在哪些环节浪费了GPU资源，或为何运行速度低于预期。 根据专利描述，这是一套基于大语言模型的“聊天界面”，与GPU性能分析工具相连接。开发者可以直接询问某个工作负载为何运行缓慢、哪一部分构成了性能瓶颈，或者同一程序两个版本的
AI智能体接连失控 OpenAI再次叫停前沿模型开发
OpenAI对外表示，已暂停其最新一代人工智能模型的训练、评估，以及支持工具调用的推理工作，起因是内部测试中的AI智能体突破沙盒网络限制，触发安全预警，公司将借此机会升级安全隔离与对齐监控体系。 这也是OpenAI三个月内第二次叫停前沿模型开发工作。该公司在声明中表示，只有在完成额外安全防护升级、确认风险可控后，才会重启模型训练工作。OpenAI在9月25日发布技术报告披露了这一安全事件：9月20
联合国专家组警告：AI安全措施不能“等出事” 应立即采取预防行动
随着各国政府加快人工智能发展步伐，联合国最新发布的一份重要报告呼吁，面对日益强大的AI智能体，人类社会不能等到风险被完全证明后才采取行动，而应立即建立更严格的安全防护体系。 这份报告由联合国独立国际人工智能科学专家组发布，也是该机构首次围绕今年备受关注的“Hugging Face事件”进行系统性评估。报告发布正值联合国大会召开以及中美两国围绕人工智能问题展开对话之际，使AI安全再次成为国际政策讨论
为什么英伟达在自主智能体变得更强大之际构建AI安全工具
英伟达推出AI安全工具OpenShell和Sentry，以保护自主AI智能体免受黑客攻击、安全漏洞和绕过控制的企图。
教宗罕见公开批评黄仁勋淡化AI失控风险
教宗良十四世周一在返回罗马的专机上对记者表示，他质疑辉达CEO黄仁勋对AI监管的立场，并呼吁全球透过对话、研究与调查建立安全防护，寻找方法确保AI不会发展到可能毁灭人类的地步。（法新社照片） （教宗专机29日综合电）美国人工智能（AI）晶片巨头辉达周一宣布推出一款新的安全工具“开放代理安全平台”，号称能替AI代理画下权限界线，一旦侦测到AI试图执行超出授权范围的行动，最快可在数毫秒内将其隔离。对此
中国探索开放权重AI安全路径 报告建议6步走
9月22日，2026年云栖大会在杭州市的杭州国际博览中心登场，展示了AI、云计算、大数据和物联网等领域的成果。（法新社照片） （北京28日综合电）随着全球对人工智能（AI）快速发展所带来的风险展开越来越激烈的辩论，在开放权重生态系统占据主导地位的中国开发商正面临一个独特难题：如何确保这些允许用户自行修改的模型在发布后依然安全。 《南华早报》报道，为应对这一挑战，中国AI公司智谱（Z.ai）与北京安
AI智能体利用多伦多大学网络工具传递信息
【大纪元2026年09月19日讯】（大纪元记者周行编译报导）在今年年中劫持一家德语网站的一群失控的OpenAI智能体，曾利用10多个网站进行未获授权的通讯，其中包括利用多伦多大学的一个缩网址的工具。 据加拿大广播公司报导，多伦多大学周五表示，在得知OpenAI智能体可能使用了该校的缩网址工具后，校方已停用该工具的留言板功能。OpenAI后来联系校方，说明今年6月发生的AI智能体失控事件涉及多伦多大
腾讯AI智能体开放平台上线
中国互联网巨头腾讯旗下人工智能（AI）智能体WorkBuddy开放平台上线，接入30余个行业应用。 综合财联社、新浪科技等报道，腾讯星期三（9月2日）宣布WorkBuddy开放平台正式上线，首批引入超百家生态伙伴，面向智能硬件、行业应用与开发者等开放底层智能体（Agent）能力。 WorkBuddy是腾讯旗下的全场景AI办公智能体，今年3月9日推出后热度快速攀升。 据介绍，WorkBuddy开放平
随着中国考虑如何降低开放权重人工智能的危险性，一份报告提出了6阶段流程
随着关于人工智能快速进步所带来风险的争论日益激烈，主导开放权重生态系统的中国开发者正面临一个独特难题：如何确保其用户可修改的模型在发布后依然保持安全。 为应对这一挑战，Z.ai 和总部位于北京的安全咨询公司 Concordia AI 于周一发布了一份关于开放权重人工智能风险管理的报告。该报告称，其提供了“首个全面且基于证据的基础”，以平衡开放权重系统的风险与收益。 与 OpenAI 和 Anthr
CNBC每日开盘：人工智能的创造者敲响警钟——而其他人仍在继续建设基础设施
今天你需要了解的重要信息：随着有关人工智能模型行为异常的报道不断出现，为这些模型提供技术支持的公司终于提出了解决方案——他们开发了一个平台，允许人工智能开发者为相关系统设置安全防护机制，以防止它们“失控”或违反预设的规则。 Nvidia于周一推出的“Open Agent Safety Platform”就是一个这样的平台。该平台能够确保人工智能系统仅能够访问完成其任务所需的数据和功能。 Nvidi