作者:Samantha Oltman 和 Lynn Doan。Anthropic PBC 正在与管理和技术咨询公司 Accenture Plc 合作,通过将该咨询公司的评估员直接嵌入其运营中,测试其先进人工智能模型的安全性。
Anthropic 在周五的博客文章中表示,Accenture 的评估员将对 AI 实验室最新模型进行红队测试并检验其防护措施,同时进行评估以确保其技术与人类目标保持一致或符合人类意图。该公司称,这些评估员在 Anthropic 内部的访问权限将与公司员工相当。
Anthropic 表示,Anthropic 与已有合作关系的 Accenture 预计将在该领域投入至少 10 亿美元以建设相应能力。
周六,Anthropic 首席 Amodei 在一篇 3800 字的文章中回应了对前沿 AI 模型安全风险日益增长的担忧,呼吁放慢开发速度,并表示将实施包括第三方评估员在内的新安全措施。
该公司称,Accenture 的嵌入式评估员将密切跟踪 AI 模型在训练过程中的演变,并观察 Anthropic 在技术研发背后的决策过程。
Anthropic 表示:“从这个视角出发,嵌入式评估员能够评估公司的运营方式,验证其是否履行安全承诺,并识别盲点。他们还可以报告事件,为公众提供更为知情的收益与风险说明。”
去年,Accenture 与 Anthropic 达成多年合作伙伴关系,在企业中部署 AI,组建了 3 万人的团队接受 Claude 的培训,以帮助为客户扩展 AI 驱动的系统。今年三月,Accenture 宣布推出 Cyber.AI,这是一款由 Anthropic 的 Claude AI 模型提供动力的安全解决方案。
鉴于埃森哲(Accenture)与这些大型人工智能初创企业之间的紧密合作关系,这种“第三方”性质的合作伙伴关系难免会引发人们的怀疑。今年早些时候,这家咨询巨头曾预测,其与 Anthropic、OpenAI 和 Palantir 等关键人工智能合作伙伴的合作规模将在未来一年内增长一倍以上。
上周,人们对人工智能所带来潜在风险的担忧进一步加剧——这一趋势的导火索是 Anthropic 公司员工 Jacob Coxon 的高调离职。他在社交媒体上发布的辞职声明中指责人工智能公司“在拿我们的生命冒险”。
在过去几天里,包括 Anthropic 的创始人 Sam Amodei 以及 OpenAI 的首席执行官 Sam Altman 在内的多位人工智能行业领袖都呼吁放慢该技术的发展速度,以应对其日益不可预测的风险;不过他们在如何应对这些风险的具体措施上存在分歧。Amodei 建议相关企业应允许独立的评估机构参与监督该技术的发展过程。
Anthropic 周四发布了一份报告,指出其 26% 的人工智能研发工作都是围绕其开发的 Claude 聊天机器人展开的;这份报告揭示了人工智能技术在加速未来模型开发方面所发挥的积极作用。