每天听简报,了解最新科技、AI、软件资讯
Redis 创始人安蒂雷兹近期开源了本地大模型推理工具 ds4。作为老牌系统开发者,他延续了一贯的硬核风格,采用纯 C 语言编写引擎底层,旨在将消费级硬件的算力潜能发挥到极致。该项目重点针对苹果芯片的 Metal 以及英伟达生态深度优化,为包括深度求索和千问在内的前沿开源模型,提供了轻量化运行与长文本推理支持。在社区讨论中,极客们对这种纯手工打造的高效架构赞叹不已。这一探索在降低硬件门槛的同时,也为个人端侧大模型的高性能部署,带来了全新的实测体验。
进度保存在本设备 · 登录同步