每天听简报，了解最新科技、AI、软件资讯
Mirendil 的第一款模型 Fern 从零完成预训练，上下文可以放到一千万 token。 这一千万 token 大约是二十三 MB 代码，五十万行上下，规模接近 Megatron-LM 这个代码库，也可以换成几十到几百条完整的智能体轨迹。 第一版 Fern 0.1 是基座 Mirendil-Base 经过一轮很短的后训练，参数大约一千亿到五千亿，访问即将开放。 作者说 Fern 是三款里最小的那一款，另外两款正在预训练。 Mirendil-Base-Large 大约五千亿到两万亿参数，进度百分之八十以上。 Mirendil-Base-XL 大约两万亿到十万亿参数，进度百分之二十以上。 这两款的上下文、输入、用途和访问都还没写明。 作者还说，下一个词的预测一直到一千万 token 仍在变好。更完整的长上下文结果，他们说很快会补上。
进度保存在本设备 · 登录同步