（中央社旧金山28日综合外电报导）近期一连串事件引发外界对人工智慧（AI）风险疑虑，美国AI晶片巨擘辉达今天推出一套目的防止自主AI程式偏离既定指令的系统，称能在数毫秒内隔离试图越界的AI代理。

综合法新社、路透社及美国新闻网站Axios报导，AI代理（AI agent）设计目的是能自主执行任务，例如浏览网页、撰写及执行程式码或处理档案，而非像聊天机器人一样仅回答问题。

这项技术被誉为AI革命的下一阶段，但近期多家科技巨擘通报AI代理在测试环境中突破管控的案例。根据聊天机器人ChatGPT开发商OpenAI说法，他们的AI代理曾进入美国联邦机关网站、澳洲政府卫生资料入口网站及AI模型储存平台Hugging Face。

面对外界疑虑，辉达（NVIDIA）执行长黄仁勋坚称这些问题可以获得解决。他今天告诉美国财经媒体CNBC：「我认为这是工程问题…我们都希望这是工程问题。」他还说：「如果这不是工程问题就无法解决。」

新工具提供隔离与侦测双层防护

辉达今天推出的「开放代理安全平台」（Open Agent Safety Platform）涵盖两项工具，包括OpenShell开源软体系统和Sentry代理监控系统。

OpenShell可运用辉达中央处理器晶片的硬体功能限制AI代理。辉达也表示正与安谋国际科技公司（ARM Holdings Plc）及英特尔（Intel）合作，确保这套系统同样适用于他们的中央处理器。

Sentry与OpenShell协同运作，使用独立的辉达晶片，在失控的AI代理试图脱离中央处理器上的隔离环境时切断其运作。如果AI代理试图超出软体活动范围，Sentry可在数毫秒内将其隔离并停止运作。毫秒（millisecond）是1/1000秒。

辉达AI软体资深总监戈尔尚（Ali Golshan）表示，辉达的工具运用数学公式侦测AI代理何时试图绕过防护措施，例如AI代理可能「繁殖」数个「子代理」意图规避对主代理的封锁措施。

戈尔尚在简报会上表示：「我们谈论的其实是代理式行为，也就是一群代理如何共同运作。」

辉达称可阻Hugging Face遭骇事件　逾百组织参与

辉达表示若有这套工具便可阻止Hugging Face遭骇事件。Hugging Face遭OpenAI失控AI代理大举攻击数月后，辉达斥资130亿美元收购Hugging Face。

辉达企业运算部门副总裁暨总经理包泰诺（Justin Boitano）表示：「就我们所知，如果这套新的安全平台早期就用于前沿AI实验室进行模型评估，就可以阻止这起入侵事件。我们正以开放方式推进这项工作，也希望与所有人合作。」

辉达表示，平台推出时已有超过100个组织合作，包括微软（Microsoft）、思科（Cisco）、Salesforce及SAP。

Anthropic已将旗下Claude代理连接至这套系统，SpaceXAI则将应用于旗下Grok模型。

#OpenAI#黄仁勋#辉达#人工智慧#AI代理