每天听简报，了解最新科技、AI、软件资讯
开源社区迎来一项完全不依赖Transformer架构的轻量级语言模型实验PSSA。该项目完全由Rust手搓底层线性代数实现，没有使用PyTorch或任何外部深度学习框架。它摒弃了针对整个上下文做注意力打分的传统路径，改用具有选择性的状态空间循环层配合双曲空间情景记忆库，实现了严格线性增长的推理复杂度。同等参数与语料实测下，其文本生成速度达到传统模型的多倍，展现出非注意力架构在边缘设备与长序列推理中的巨大潜力。
进度保存在本设备 · 登录同步