Opus4.8 我个人体验下来,最大的缺点是上下文过拟合,或者更确切的说,仓库中的显式文档对 agent 相较此前出现了更大的引力。所以我跟严格要求,旧的不合格内容不再做归档,通过git管理直接进历史,不要在当前版本上下文出现,不然会持续拉扯模型注意力。
在任何时候,新建立的工作,我都需要严格拆分成若干独立工作,做独立文档,独立工作区,方便随时可以在 /effort → [Ultracode] → Workflow 模式下,放出上百个上下文可控的 独立·第三方·干净上下文的 agent 蜂群,并声明各自所需的参考文档,不让混淆上下文。
求教:上下文过拟合这个问题你是怎么发现的呀?有什么很具体的例子吗?
在自己项目的人类注意力范围内,发现不仅新窗口对文档的内容回归很强,仔细过他创建 subagent 的提示词,还是忠于文档,哪怕已经在当前窗口有过明确的指令,但是还是回归了。我认为他的过拟合情况比较明显,显式的上下文也就是仓库文档的优先级明显比之前更高了。好处是控制上下文更方便,坏处是按之前的工作模式,很容易因为本地文档的过度拟合问题被拉回原来的错误方向。
理解了,我遇到一个问题就是 Memory 记录的时机和用的也太过了
我一直在维护 docs,确保 docs 被充分使用减少上下文错误,可能是因为我自己不怎么会并行开很多的 session 管理一个项目,所以“过拟合”对我的体验反而是比较“听话”
哈哈哈
对,我属于贝叶斯主义,我提的所有观点和诉求都是先验,所有AI生成内容都是假设,都需要实证和验证来不断修正概率。过于回归到文档本身,在我这边就有点,犯错,因为总有不断有新的实际例证、行动验证,来纠正之前的各种假设想法,他需要及时淘汰旧的内容。
是的
policy 的灵活性与确定性就是无法兼得的,取一侧就要在另一侧耗损
独立·第三方·上下文受控 的集群agent 配合工作,可以显著改善 一个agent线性工作的 上下文自我受限问题,提高智力水平,在市场研究方面表现非常显著,通过claude in chrome 轻松绕过各大严格风控的交易平台的同时,不用多长时间就能读完上百个页面的商品数据,并给出数据统计和洞察,以及本项目目标实现所需充分必要条件的现状、进度、瓶颈、归属