多名重量级科技领袖警告人工智能(AI)威胁人类生存之际，辉达(Nvidia)以新的安全架构回应AI行业风险。

辉达发布名为「Open Agent Safety Platform」的双层AI安全平台，包含两款开源软件工具OpenShell与Nvidia Sentry，可运行于辉达硬件之上，即时管控AI代理的存取权限，并在其违规时将其关闭。

辉达表示，该系统能够在毫秒级隔离异常代理，并称如果相关实验室此前已部署这套技术，今年7月OpenAI模型攻击Hugging Face的事件本可被阻止。

毫秒级隔离异常代理

辉达企业AI副总裁Justin Boitano称，Open Agent Safety Platform能够即时监控AI代理的行为边界，并在触发违规规则后立即介入。平台由两款开源工具构成，OpenShell负责控制AI代理可访问的资源和执行许可权，Nvidia Sentry则负责监控代理行为并识别潜在威胁。这套架构旨在帮助企业和AI实验室在更严格的安全边界内测试先进AI系统，同时避免因安全风险而放缓研发进程。

对于OpenAI和Anthropic是否计划采用该系统监控训练过程，Boitano称，相关决定将取决于这些公司自身。

黄仁勋:AI安全应通过技术解决

黄仁勋近期多次强调，AI安全应更多通过技术手段解决，而非单纯依赖新的监管框架。他亦曾公开质疑部分AI开发者关于AI可能威胁人类生存的警告，同时强调AI系统仍必须经过严格的安全测试。

从此次产品布局来看，辉达正尝试将AI安全能力进一步嵌入模型运行和代理执行的基础设施，通过许可权控制和异常隔离降低自主代理的安全风险。这亦意味辉达的业务触角正从AI晶片进一步延伸至软件及安全基础设施领域。

微软创办人盖茨(Bill Gates)早前在周日播出的美国全国广播公司(NBC)访问称，AI有能力造成逾十亿人死亡，形容没有一种武器，比不良分子滥用最新的AI工具更具杀伤力，呼吁美国国会议员通过法例，以加强监管AI研发。他认为，该些要求必须是强制性，虽然会为行业带来一些额外负担，但不会大幅减缓他们的研发速度。