Vibe News

Typesafe做的模型Jev最近成了AI网关工具里采用速度最快的模型。行业博客Arcturus Labs判断，OpenAI很快就能把这套本事吃进自己的产品。Jev的诀窍是，给一个问题时不生成整段文字，只看候选答案对应的几个词元，把概率归一化成一个数字直接作答。速度快，成本低。作者认为，OpenAI早就在用大模型内部做类似判断，比如决定要不要调用工具，只是没包装成独立产品。他设想，OpenAI可以让模型在思考过程里自己提问自己作答，直接读取词元概率判断该不该换个更便宜的模型。不用再跳出模型调用工具。作者说，Typesafe真正的护城河在训练数据，一旦不够深，OpenAI很快就能自己做一个。评论区有人说，这不过是给工具调用换了个说法。