在Anthropic研究员雅各布·考克森因担忧AI可能在本十年末毁灭人类而辞职的一天后，我见到了创始人兼姻亲鲁恩·克维斯特和拉吉夫·达塔尼。他们认为自己找到了一个能拯救我们所有人的解决方案，或者至少有助于防止AI代理在企业内部失控。

“AI正以越来越快的速度变得更聪明。AI令人惊讶之处在于，随着AI变得更聪明，采用它和控制它都变得更难，而不是更容易，”克维斯特说道。他是Anthropic的早期员工，也是达塔尼妹妹的丈夫。达塔尼则是AI安全研究组织METR的前首席运营官。

两人创办了一家名为人工智能承保公司（AIUC）的初创企业，希望将AI安全带给企业以及构建AI模型和代理的公司。这家初创企业将Cursor、Lovable、Harvey和ElevenLabs列为客户。

周二，AIUC宣布完成由Ribbit Capital领投的4000万美元A轮融资，First Harmonic参投。该公司此前已完成了1500万美元种子轮融资，投资方包括通过其基金NFDG出资的Nat Friedman，以及Emergence、Terrain和Anthropic联合创始人Ben Mann等，使其总融资额达到5500万美元。

吸引这群顶级投资者注意的是，AIUC试图将一种熟悉的网络安全模式应用于一系列新的AI风险。该公司为AI智能体构建了一个第三方审计与认证层。

“银行、医院、政府和军方不再因为模型不够智能而拒绝部署人工智能，”克维斯特表示。“他们拒绝是因为他们已经向自己的客户承诺了系统会做什么、不会做什么，而目前没有人能保证这一点。”AIUC以广泛采用的国家安全标准SOC 2为灵感，制定了一项名为AIUC-1的标准，并提供测试服务，以依据该标准验证智能体。

为了制定这一标准，AIUC召集了一个由约250名安全与风险负责人组成的联盟——他们是智能体的买家。“这些人是我们每月都会会面的人，我们会问他们：当你从别人那里购买智能体时，你会关注什么？你会想问哪些问题，你希望看到哪些方面得到解决？”达塔尼对TechCrunch表示。

这些反馈会反过来塑造测试内容。随后，这家初创公司会让一个代理运行约5000项测试，观察它在涉及越狱、幻觉和数据泄露等场景中的表现。结果会生成一份大约100页的报告，详细说明代理在哪些方面表现安全可靠，以及在哪些方面并非如此。有趣的是，AIUC使用AI代理来运行测试，并用AI来分析数据。不过，克维斯特表示，最终审计由人工核验。

如果这听起来有点耳熟，确实如此。达塔尼的前雇主METR也在为前沿实验室做类似测试，他曾在2024年至2025年担任该机构首席运营官，目前仍是董事会成员。不过，直到最近，METR的工作主要聚焦于性能，也就是代理能否可靠完成任务。METR是OpenAI用来调查其Hugging Face事件的独立研究机构之一。

Anthropic 首席执行官达里奥·阿莫代伊最近也呼吁 AI 行业放慢前沿开发步伐，理由是不良行为事件迅速增加。在文章中，阿莫代伊提出一个想法：要求前沿实验室使用嵌入式第三方评估机构来观察和验证安全性，并将 METR 列为可能选项之一。

虽然 AIUC 并不提议将自己嵌入客户场所，但其总体思路是让企业能够独立评估其 AI 智能体的安全程度。“这里说明它在哪些方面通过、哪里可以信任它。而这里是存在担忧的地方。在做出购买决定之前，你应该了解这些参考信息，”达塔尼说。