每天听简报,了解最新科技、AI、软件资讯
OpenRouter 可以把模型的整份回答缓存下来,让完全相同的请求直接复用结果。Ken Rogers 介绍,只需在请求里打开响应缓存开关,再发同样的请求,大约一秒就能取回回答,而且这次不收生成费用。这里缓存的是已经生成的完整结果。常见的提示词缓存,只给重复输入打折,模型仍然要继续运行;整份响应命中缓存时,会直接跳过模型。作者给的应用场景是开发调试,同样的调用反复执行,可以省掉重新生成的成本。缓存默认保留五分钟,也能另设有效期,最长延长到二十四小时。前提始终是请求完全一致。
进度保存在本设备 · 登录同步