每天听简报,了解最新科技、AI、软件资讯
编程智能体改动历史消息,可能让几十万词元的上下文重新计算。推理服务商 Neuralwatt 分析自家流量发现,同样约五万词元的请求,基本没命中缓存时,耗能大约翻倍。缓存要求提示词前缀完全一致,开头改个日期,后面的内容也可能重算。实验中,删除旧提醒、替换读过的文件,都破坏过缓存。团队建议保留历史,把变化追加到末尾。这个结论有边界:生产数据里的重读,也可能来自服务器缓存被驱逐,不能全部归咎于客户端。评论区另有人提醒,任务完成质量仍然要优先考虑。
进度保存在本设备 · 登录同步