每天听简报,了解最新科技、AI、软件资讯
Thinking Machines Lab今天开源了轻量模型Inkling 2 Mini,直接能塞进笔记本本地运行。它采用循环架构,每生成一个词都会把中间层循环跑三遍,用更少的输出完成更深的推理。模型总参数两百六十四亿,每次激活五十四亿,原生用四比特精度训练,总内存占用只有二十GB左右,三十二GB内存的苹果电脑就能用Ollama离线跑起来。团队在飞机断网状态下用笔记本几分钟就让它写出了可玩的飞行模拟器。在百亿级开源模型里,它在多个编程基准都拿下了第一,社区已经在适配本地推理支持。
进度保存在本设备 · 登录同步