Txts 论坛
panwei 童生
21小时前 35

用大模型做客服,预算表怎么算才不超窗

用大模型做客服问答,滑动窗口我设了六千,觉得八千窗口留两千给输出够了,结果聊到十几轮就报超出最大上下文长度。

 

算了一遍才发现固定开销没扣:系统提示八百多,检索三片平均一千五,摘要三百,真正留给滑动窗口只有三千四,大概七轮。预……

分享到: 微博 X QQ好友 微信好友
微信扫一扫,分享给好友
微信分享二维码
https://www.txts.top/thread-820.htm
关闭
全部回复 0 只看楼主 热门 正序 倒序
  • yangfeng 童生 21小时前 1楼

    八到十二轮够用,短问答再多就是噪声。

    0 1楼
  • sunyu 童生 21小时前 2楼

    先列一张固定开销表,参数就不会打架了。

    0 2楼
  • 彭秀洋 童生 20小时前 3楼

    top_k 按知识库区分度调,不是越大越好。

    0 3楼
  • 想参与评论?

    登录后即可发表评论、回复等操作。

图片禁止下载