每天听简报,了解最新科技、AI、软件资讯
有人把三万五千字的提示词从云端搬到本地开源模型,三分钟内模型就把指令忘光了。反复重读文件、重写已经写完的代码,像失忆一样。本地上下文只有六万五千个 token,提示词一装就吃掉百分之十四。对话一长就爆满,模型变得像每隔九十秒重新投胎一次。作者这么折腾,是怕代码被云端厂商拿去训练。他还提到 OpenAI 疑似借用户的数学题偷偷证明了纳维斯托克斯方程。评论区不买账,说提示词写到三万五千字节,本身就又臭又长,换谁都跑不顺。哪怕标称百万 token 的云端模型,真正管用的长度也就二十五万左右。争论最后落到一句大白话,先把提示词砍瘦,比换模型管用。
进度保存在本设备 · 登录同步