每天听简报,了解最新科技、AI、软件资讯
在真实的智能体运行中,大模型每生成一个词,背后其实需要消化高达九十三个词的输入上下文。 这是评测平台 Agent Arena 在深度分析了两万六千多场真实会话后得出的关键结论。这也解释了为什么各大模型厂商近期都在打响上下文缓存的隐形价格战。因为对多步骤智能体来说,反复读取长上下文和历史工具调用的开销,已经占到整体消耗的九成以上。 对于正在开发复杂智能体的团队,单纯看输出单价已经意义不大;用好上下文缓存机制,才是决定应用落地成本的关键底牌。
进度保存在本设备 · 登录同步