“Crusoe托管推理让我们快速从评估走向生产,并达到了我们对自己系统所要求的标准,为我们提供了规模和经济效益,以便重新投资于我们核心工作的研究,”Thinking Machines Lab的机器学习基础设施负责人Myle Ott表示。
Crusoe和Thinking Machines Lab周三宣布了一项每年6500万美元的协议。Crusoe将在Crusoe Cloud上为该实验室的开放模型运行推理。
前OpenAI首席技术官Mira Murati创立了Thinking Machines Lab。该实验室将通过Crusoe托管推理为其生产工作负载提供服务。据两家公司称,这些工作负载包括其Inkling模型以及GLM 5.2和5.3。其自行微调的变体也将在那里运行。
专用Nvidia集群 这些工作负载将在Nvidia HGX B200系统的专用部署上运行。Nvidia Quantum-2 InfiniBand网络将它们连接起来。Crusoe将直接运行和支持该集群,即其所称的定制部署。这是一个专用的、经过基准测试的端点,并附带服务级别协议。这意味着Thinking Machines Lab不必管理自己的推理堆栈。
两家公司表示,他们还在考虑用于大规模合成数据生成的批量推理。
“Thinking Machines Lab拥有一支非常成熟的工程团队,他们期望合作伙伴在自身成长过程中达到其高标准,”Crusoe Cloud产品管理高级副总裁Erwan Menard表示。
Crusoe的推理业务 Crusoe表示,该交易使Crusoe托管推理的合同年度经常性收入超过1亿美元。该服务推出不到一年。
该协议达成之前,两家公司都经历了忙碌的一个月。Crusoe上周以309亿美元的估值筹集了39亿美元。9月早些时候,它与Jane Street签署了一项为期五年、价值130亿美元的协议。The Information报道称,Thinking Machines Lab正在洽谈筹集60亿美元。
中国的Z.ai开发了GLM开放模型。Z.ai最近将其ZCode工具开源。