每天听简报,了解最新科技、AI、软件资讯
不想再被云端额度限制,想在家里电脑跑自己的大模型?一篇本地入门指南梳理了用桌面工具零命令行搭私有对话服务的做法。 作者按显卡显存给出对照表:八到十二G显存可跑九B到十二B四比特量化模型,十六G到二十四G能跑二三十B规模,三十二G以上则能留足空间开长上下文,十分钟左右就能配置完成并开启局域网共享。 不过评论区也有提醒:开启局域网访问要注意家庭网络安全,另外想达到云端工具的完整体验,往往还得搭配开源前端和外挂技能。
进度保存在本设备 · 登录同步