“现在的智能体运行时间长达数小时，调用数千种工具，并处理真实的资金、健康数据和客户，”Raindrop首席执行官Zubin Koticha表示。“当智能体出现故障时，它会大规模地、令人信服地执行错误操作，直到有人偶然发现。”Raindrop已完成由CRV领投的A轮融资。这家位于旧金山的公司在9月17日表示，其总融资额已达5000万美元。该公司未透露本轮融资的具体金额。

该公司在AI智能体上线后对其进行监控。它读取生产环境的追踪记录，并标记所谓的语义异常。这些异常包括模型升级后出现的幻觉回答、工具误用以及行为变化。工程团队可以查看发生了什么变化、何时开始以及影响了哪些用户。

在发布前测试变更。随着融资的完成，Raindrop推出了名为Simulations的产品，目前处于研究预览阶段。它通过重放真实的生产流量以及团队现有的测试用例，来评估对智能体提出的变更。随后，它会对结果运行异常检测。

这一方案旨在挑战传统的评估方式。Raindrop表示，传统的评估依赖于预先编写的测试用例。这意味着它们大多只能捕捉到团队已经预想到的故障。Simulations在每次代码合并请求（pull request）时运行，旨在揭示那些无人预料到的行为变化。

Raindrop引用了METR的研究来说明这一领域的发展速度。智能体能够独立完成的任务长度大约每七个月翻一番。单次运行现在可以持续数天，并涉及数千次工具调用。

该公司还声称，Simulations为前沿实验室之外的公司提供了这些实验室内部使用的测试流程。它提到了OpenAI关于部署模拟的研究，即使用候选模型重新生成去标识化的生产对话响应。它还提到了Anthropic构建合成宇宙来对其智能体进行压力测试的做法。

关键信息：该项目的投资方包括 Lightspeed Venture Partners 和 Y Combinator（这两家公司早已成为该公司的股东）；OpenAI、Anthropic 以及 Thinking Machines 的首席研究人员也亲自参与了投资。此外，Figma Ventures 和 Vercel Ventures 也被列为该公司的投资方。

Raindrop 宣布其客户包括 Vercel、Framer 和 Clay，以及一些未具名的《财富》100强企业（这些企业来自医疗和物流行业）。

CRV 的合伙人 Reid Christian 表示：“智能代理与传统软件有着本质上的区别——它们具备高度自主性，且其行为具有不确定性。Raindrop 将智能代理的故障视为一种需要被及时检测的问题（就像安全系统处理安全漏洞一样）。”Lightspeed 的合伙人 Bucky Moore 则指出，在国防等高风险领域，智能代理的错误行为可能会带来灾难性后果。

Raindrop 由 Koticha 与 Ben Hylak、Alexis Gauba 共同创立；团队成员中包括曾在 Robinhood 开发欺诈检测模型、在 Square 开发异常检测系统的工程师，还有来自 Segment、Semgrep 和 Socket.dev 的安全工程师。

竞争格局：这个领域的竞争正在加剧：

Groundcover 于 7 月筹集了 1 亿美元，用于开发适用于人工智能时代的监控工具；

Scaled Cognition 于 6 月从 Khosla 获得了 1 亿美元的投资，旨在开发可靠的智能代理系统；

Harvey 本月收购了 Guardrails AI。

Raindrop 的独特之处： Raindrop 认为智能代理的可靠性问题本质上属于“检测问题”（而非设计缺陷），并认为在提交代码请求（即“pull request”阶段）进行干预最为有效。不过，这一观点目前仍处于验证阶段（模拟测试阶段）。