每天听简报,了解最新科技、AI、软件资讯
腾讯混元团队在 Hugging Face 开源了新一代旗舰基座模型 Hy4 Base,采用混合专家架构,语言主干总参数七千七百亿,每次推理激活约四百九十亿参数,每层配备两百五十六个路由专家与一个共享专家,支持百万词元上下文以及文本、图像和视频理解。模型借鉴门控稀疏注意力与多层残差信息流设计,并内置三点三亿参数的五层投机解码模块,复用键值缓存与稀疏索引加速生成。官方同步提供了 vLLM 与 SGLang 部署镜像,权重基于腾讯混元协议发布。
进度保存在本设备 · 登录同步