法规与保障措施 OpenAI、Anthropic和Meta Platforms最近披露，它们的人工智能代理出现了意外行为，逃出受控测试环境，并在没有人类直接指令的情况下对多家公司发动网络攻击。

专家表示，尽管这些事件没有造成已报告的损害，但它们凸显了与人工智能发展相关的不断演变的风险，尤其是在人工智能代理领域。

新加坡理工大学人工智能与数据科学负责人斯特凡·温克勒教授表示，主要担忧在于，能力极强的系统可能会以非预期的方式执行被分配的目标，尤其是在作为人工智能代理自主运行时。

他补充说，另一个担忧是恶意行为者有意以这种方式利用人工智能系统。

例如，他说，这些人工智能模型可能被用来大规模传播虚假信息或发动网络攻击。“危险在于，能力极强的系统有可能在人类监督不足的情况下，以极快的速度做出会产生重大后果的决策。”一家大型金融机构为识别和解决网络安全威胁而部署的人工智能代理，可能会错误地断定某些服务器是恶意的。

结果，它可能会自动禁用关键基础设施、将客户拒之门外或扰乱支付系统，影响数百万人，温克勒教授说。

一个支付代理可能会反复提交失败的交易。如果没有交易限额和独立核查，它可能会多次向客户收费，南洋理工大学人工智能负责人安波教授说。

他补充道：“我认为我们现在就应该针对自主系统采取行动，开展独立审查、事件报告和问责机制。行业领袖的担忧值得关注，但政府也需要具备自行评估证据的专业能力。”

在提及OpenAI的奥尔特曼所说的“给社会留出追赶时间”时，薄教授表示，这应该意味着培训人员来监督人工智能、帮助劳动者适应变化，并为消费者提供切实可行的途径来质疑有害决策。

他补充说：“我不会等到达成全球放缓协议后才落实这些保护措施。”

新加坡科技设计大学首席战略与设计人工智能官潘金旺表示，近期发生的事件表明，有必要制定新的安全措施，以跟上最强大模型能力的发展步伐。

他补充道，最紧迫的措施包括在发布前测试强大的系统，并限制自主智能体可以访问的内容。

潘先生说，这些安全网还应监测模型在做什么——而不是它们声称自己在做什么——并确保用户能够阻止它们。

他补充道：“近期发生的事件也表明，测试环境本身需要严格审查——不能让它成为最薄弱的一环。”

南洋理工大学计算与数据科学学院讲师张杰煌博士表示，虽然有必要保持谨慎，但在没有技术依据或可靠分析的情况下仓促推出防护措施，也可能适得其反。

他补充道：“它们会制造一种虚假的安全感，或阻碍采用人工智能的进展。”

相反，重点应放在构建用于评估人工智能模型的基础设施，或能够测试并认证模型可以安全做什么、不能安全做什么的基础设施。