每天听简报，了解最新科技、AI、软件资讯
搜索引擎Manticore给向量搜索加了个自动切分长文档的功能，一行配置就把命中率从百分之五十五点一拉到百分之八十三点三。以前存长文档做语义搜索，文档超过模型能读的窗口，模型只读开头，后面几千字直接被扔掉，没有提示。比如一份备份手册，证书轮换说明写在最后一段，查怎么轮换证书时，系统反而搜出一份不相关的文档。切分成多段分别编码后命中率明显回升，代价是多花两倍多内存和四倍写入时间。评论区提醒，换更长窗口的模型也顶不了用，整篇塞进一个向量虽不截断，但信息被抹平后检索精度会跟着缩水一大截。
进度保存在本设备 · 登录同步