我们瓶中有闪电,却无法加以利用。迪奥戈·阿尔梅达曾参与打造ChatGPT。他在OpenAI从事了支撑该产品的指令遵循研究,而此后四年,他对它的演变感到失望,正如他上周对TechCrunch所说。他的答案是做一个一个字都写不出来的模型。
这个模型叫Jev。他的初创公司TypeSafe AI于9月15日将其投入早期访问,DCVC同日领投了4000万美元种子轮。Jev不生成文本。它接收一块程序状态和一组带类型的问题,然后以三种形式之一返回决策:一个选择、一个分数,或一个是-否概率。
选择最多可有255个选项,分数则位于一个有序量表上。每个答案都带有经过校准的置信度数值,TypeSafe认为这正是关键所在。一个模型可能95%的时候能完成某项工作。除非它也能说明另外5%的情况,否则就无法围绕它实现自动化。
TypeSafe Jev放弃了什么 这种取舍是绝对的,公司对此也直言不讳。Jev不能生成字符串,因此不能聊天、起草、解释或编写代码。这换来了速度和价格。TypeSafe收费为每百万输入token 0.042美元,即每十亿42美元,并且完全不对输出计费。它给出的端到端响应时间为70到500毫秒。按其衡量,前沿模型在可比查询上需要3到329秒。
该模式还在调用发出前就固定了可能答案,因此当被要求在四个选项中选择时,模型无法凭空编出第五个选项。TypeSafe称这是一种结构性属性,而非测量结果。模式匹配是有保证的,因此没有什么还需要计数。问题在于,我们正在为人类语言进行优化。
阿尔梅达对TechCrunch表示,四年的努力造就了擅长与人交谈的模型。但它们在软件内部却显得笨拙,因为软件说的是另一种语言。TypeSafe完全用它自己生成的合成数据来训练Jev,所用方法被它称为“用于校准决策的强化学习”。
这个名字点明了它的赌注。威廉·斯坦利·杰文斯是19世纪的经济学家,他的悖论认为,一种商品价格下降往往会增加而非减少其消费量。
采用曲线本身就是新闻。在登陆Vercel的AI Gateway后24小时内,Jev就覆盖了该公司近13%的付费团队。这是GPT-5.6系列份额的两倍,也是Fable 5.1的六倍多。Vercel上周表示,此前从未有模型在该网关上传播得如此之快。最近其他每一次发布在整整一天后都仍低于7%。Jev在12小时内就超过了它们全部,并持续拉大差距。
Vercel还公布了它所取代的东西。其工程师此前一直在OpenAI的Luna 5.6上运行一个安全分类器,检查命令是否可以安全执行。换用Jev后,这一步快了5到18倍。这些正是智能体内部那些从一开始就不需要散文式表达的工作:路由这个、给那个打分、决定是否重试。
TNW上周报道称,AI模型成本已经在推动初创公司转向更便宜的开源权重。
它适合做什么 最明确的契合点是那些最终归结为一个决策的工作。模型路由就是一例。预测一项任务需要哪个模型很有用,但用语言模型来做这件事成本很高,这也是Perplexity自建路由器的一个原因。护栏是另一个例子,而用第二个智能体来监视某个智能体是否遭遇越狱,成本会迅速变得高昂。
代理程序确实会出错。OpenAI 在 7 月份确认,其某个模型已经“突破”了安全防护机制(即从隔离环境中“逃逸”到了外部系统);而本月曝光的一个漏洞使得这些 AI 编程代理程序容易受到零点击攻击(即无需用户任何操作即可被攻击)。投资者们也在从另一个角度为解决这些问题提供资金支持:例如,A16z 在 6 月份投资了一家专门致力于修复 AI 错误的初创公司。Jev 则采取了完全不同的方法——它试图消除错误产生的根源,而不是在错误发生后再进行修复。
TypeSafe 公司在宣传自己的产品时并未大肆吹嘘,反而非常坦诚地承认了自己所掌握证据的局限性。该公司表示,其模型能力评估工作是由他们自己的团队完成的。
在与其他语言模型的对比中,TypeSafe 使用 GPT-6、Astra 和 Fable 5.1 作为参考答案,但这可能会使测试结果偏向 OpenAI 和 Anthropic;该公司用于评估竞争对手模型及类型错误的数据来自 OpenRouter 的流量统计(这些数据可能反映了用户向更先进模型提交的更复杂查询)。此外,TypeSafe 选择不公开自己的测试结果,认为用户应该自行进行类似的测试。
TypeSafe 拒绝透露 Jev 的具体工作原理。据 TechCrunch 报道,Almeida 对 Jev 的架构守口如瓶;Earendil 的首席技术官 Armin Ronacher 指出了该系统的实际问题:最终,Jev 会将“产生错误”的责任部分转嫁给用户(即用户必须自己决定如何处理这些错误)。
当系统的置信度达到 95% 时,这些结果是可以被实际应用的;但如果置信度仅为 50%,那么结果就完全取决于随机因素,开发者必须自己决定如何应对这种情况。
Vercel 公司也非常谨慎地解释了自己测试数据的含义,并在文章结尾强调了这一限制因素(即测试结果的不确定性),而非仅仅展示具体的数据数字。Vercel 产品在发布当天的采用率在近期同类产品中名列前茅;下一个考验将是这种高采用率能否持续下去。
之所以在第一周可以以低价购买这款产品,是有原因的:Vercel公司正在其官方网站上免费赠送Jev这款产品,赠送活动将持续到9月25日。那些在10月份才购买该产品的付费用户,其数量将会远远超过那些在产品发布当天就购买的用户。Ronacher在接受TechCrunch采访时表示,随着这款语言模型的实用价值逐渐显现,竞争对手们也开始纷纷加入竞争行列。他认为,之所以这个市场长期以来一直处于停滞状态(即没有新的竞争者出现),仅仅是因为语言模型本身的成本仍然很低,且得到了足够的补贴;因此,开发者们没有必要花费太多精力去创新或开发新的产品。