每天听简报,了解最新科技、AI、软件资讯
开源语音项目 Moonshine Voice 联合创始人 Pete Warden 在最新访谈中表示,AI 正在加速走向本地运行。他指出,九十亿参数的开源模型经过四比特量化后,只需四 GB 显存的普通笔记本就能跑动;苹果 M5 Studio 更把统一内存推到两百五十六 GB,足以流畅运行千亿级模型。相比云端按令牌计费,本地推理不仅能把语音响应延迟压到两百毫秒以内,还能免去按次付费的顾虑、守住隐私并防止服务商暗中改动模型。评论区里,有开发者分享自己用一千五百美元的本地主机替代了日常大部分对话需求,也有人反驳说普通用户不愿自建机房,云端并发批处理在电费与利用率上依然更有优势。
进度保存在本设备 · 登录同步