每天听简报,了解最新科技、AI、软件资讯
基础模型研究所 IFM 在 arXiv 发布 134 页 K2 Horizon 技术报告,详述从 3.7B 到 375B 六个模型的研发全流程。架构上采用 MoVA 与 softplus 注意力门控,官方称 36B 模型用七分之一激活参数就接近 32B 稠密模型效果。 报告用六十多页拆解如何生成约 10T 合成数据,以及小规模配比排名在扩规模后反转的原因。推理侧开源 Uno 适配器,无需草稿模型实现最高 2.2 倍无损解码加速。 加上此前放出的 380 个检查点和 13 TB 预训练数据,整套工程资源已经全面公开。
进度保存在本设备 · 登录同步