NKCorpus:利用海量网络数据构建大型高质量中文数据集

摘要：

[目的]大规模、高质量的中文数据集对于大型中文预训练语言模型及其他自然语言处理模型的训练至关重要,因此需要设计并完善一种可以构建大规模中文数据集的框架.[方法]利用语言提取、文本清洗、数据去重等多种方法对原始数据进行处理获取数据集,并利用并行技术对数据处理框架的效率进行优化.[结果]提出了一个流程完善且高效的可以利用海量网络数据构建大型高质量中文数据集的框架NKCorpus,并且利用NKCorpus构建了约700GB的可直接用于中文预训练语言模型的训练工作的高质量中文数据集.[结论]NKCorpus已能够基本满足当前对于大规模、高质量中文数据集的高效构建需求.

关键词：自然语言处理、中文数据集、数据集构建

所属期刊栏目：4

分类号：TP391;TN912.34;TP181

资助基金：国家重点研发计划2021YFB0300104

在线出版日期：2022-06-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共16页

页码：30-45