一种基于权重预处理的中文文本分类算法

摘要：

文本分类是NLP(natural language processing,自然语言处理)处理技术的重要分支.信息检索、文本挖掘作为自然语言处理领域的关键技术,给人们的生活带来了许多便利,而文本分类正是这些关键技术开展的重要基础.文本分类作为自然语言处理研究的一个热点,其主要原理是将文本数据按照一定的分类规则实现自动化分类.目前常见的文本分类方式主要分为基于机器学习和基于深度学习两种,它们的本质是通过计算机自主学习从而提取文本信息中的规则来进行分类.针对数据量较小、硬件运算能力较低的应用场景,往往使用基于机器学习算法而衍生的文本分类模型.该文以期刊论文作为实验数据,研究中文文本分类问题,在改进传统词频算法的基础上提出了一种基于权重预处理的中文文本分类算法PRE-TF-IDF(pre-processing term frequency inverse document frequency).传统词频算法在对词加权时仅考虑词的出现频率而不考虑词在文本中的位置;PRE-TF-IDF算法在TF-IDF(term frequency inverse document frequency)算法的基础上增加权重预处理和词密度权重两个环节.实验结果显示PRE-TF-IDF算法能够有效提高文本分类的准确性.

关键词：自然语言处理、词频算法、中文文本分类、权重预处理、词密度权重

所属期刊栏目：32

分类号：TP391(计算技术、计算机技术)

资助基金：江苏省高校自然科学研究计划项目05KJD520146

在线出版日期：2022-04-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：40-45,53