每天听简报，了解最新科技、AI、软件资讯
一名开源硬件创客利用七块售价仅几十元的 ESP32 微控制器搭建了一套分布式流水线推理集群，成功将一个五亿参数的三值化大语言模型切片并离线运行。该项目由一块主控单片机负责词表切分与文本嵌入计算，其余六块算力节点通过高速串行外设菊花链总线级联，各自承载四层注意力机制与前馈网络运算。通过将权重极端量化至一点五八比特，微小芯片有限的片上静态内存终于能够装下神经网络核心参数。社区极客赞叹这种极致的工程压榨，不仅打破了前沿大模型必须依赖高功耗独立显卡的固有认知，也为工业低功耗边缘传感器的离线智能化落地提供了全新范式。
进度保存在本设备 · 登录同步