该数据集为 Firefly-LLaMA2-Chinese 项目 的增量预训练数据，一共约 22GB 文本，主要包含 CLUE 、 ThucNews 、 CNews 、 COIG 、维基百科等开源数据集，以及研究团队收集的古诗词、散文、文言文等，数据分布如下图。