Txts 论坛
liangyue 童生
13小时前 22

把提示词按稳定程度重排,缓存命中翻倍

最近在压一个 Agent 的调用成本,把上下文按稳定到易变重排了一遍,效果比想象中大。之前的写法是把时间戳和用户 ID 放在提示词开头,每次请求都不一样,缓存直接废掉。重排之后系统……

分享到: 微博 X QQ好友 微信好友
微信扫一扫,分享给好友
微信分享二维码
https://www.txts.top/thread-543.htm
关闭
全部回复 2 只看楼主 热门 正序 倒序
  • zhanglei 童生 13小时前 0 1楼

    时间戳放开头毁缓存这个坑太经典了。

  • kelly_young 童生 13小时前 0 2楼

    来源标注确实重要,出问题时能对账。

图片禁止下载