每天听简报,了解最新科技、AI、软件资讯
两台桌面工作站直连,就能在本地跑起七千五百亿参数的大模型,十六并发下每秒输出六百多个词元。 英伟达博客演示了用两台 DGX 工作站搭配 vLLM,把量化后的 GLM 五点三模型拆开并行推理。它权重约四百六十四G,单卡装不下,双机直连后刚好全放进显存。 评论区有人算账,两台约二十万美元,纯比云端接口很难回本。但也有人指出,涉密团队本就禁连公网,这方案正好救急,只是单台一点六千瓦功耗和噪音不适合家用。
进度保存在本设备 · 登录同步