大规模文本分类的训练语料去噪方法研究

摘要：

[目的/意义]训练语料的质量对主流的文本分类算法至关重要.消除噪声,尤其是"类别外噪声",有助于提升训练语料的质量,进而提升文本分类算法的准确率.[方法/过程]本文重点利用语义信息来消除"类别外噪声".通过对每个类别的训练语料构建"类目-类目关键词"知识库,利用"词嵌入"自动化比较其语义信息来判断该类别下是否存在噪声,并给出"类别外噪声"类目候选列表以及文献候选列表,最后通过人机交互的方式消除噪声.[结果/结论]本文提出的去噪方法能够有效检测并消除大规模文本分类的训练语料中的噪声数据,提升训练语料的质量.

关键词：文本分类;去噪;词嵌入

所属期刊栏目：7

分类号：TP391;G35(计算技术、计算机技术)

资助基金：中国科学技术信息研究所创新研究基金青年项目"大规模文本分类的训练语料去噪研究";中国工程科技知识中心建设项目"知识组织体系建设"

在线出版日期：2021-09-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：117-126