Vibe News

托管方 Ubicloud 用推理引擎 vLLM 的零点二八版本服务 Moonshot AI 的模型 Kimi K2.6，工具调用只有百分之九十二写出合法格式，每二十五次里有两次失败。 模型按概率挑词，会把工具 web_search 写成训练里见过的 search_web。 约束解码让引擎每一步只留符合当前工具格式的词。 他们先在自己改过的 vLLM 里加上了约束解码。改用上游之后，正确率掉回百分之九十一。请求里不写明打开，约束解码就不生效。 gpt-oss-20b、Qwen 三点六和 GLM 五点一的用户报告过，默认打开后出了问题，vLLM 因此把这项默认关掉。 他们给 Kimi K2.6 和另一款模型 DeepSeek V4 Flash 重新打开约束解码，用 Moonshot AI 的基准 K2VV 重测两千条请求。所有在服务的模型版本都到了百分之百的格式正确率。随后这项改动进了生产环境。