CGGA:一种CNN与并行门控机制混合的文本分类模型

摘要：

针对中文文本分类准确率低、单一的卷积神经网络模型难以提取多方面特征的问题,本文提出一种基于CNN的并行门控机制的混合文本分类模型——CGGA(Convolutional Neural Network with parallel gating unit and attention mechanism).利用卷积提取文本的局部特征,并加入双向门控循环单元对数据进行上下文数据建模,提取关系特征,同时,引入门控Tanh-ReLU单元进行进一步的特征筛选,从而控制信息向下层流动的力度,并且减轻梯度弥散,提高模型分类准确率.最后,使用多头注意力机制进行权重更新计算,以提高在相应文本类别上的输出,进而优化模型分类性能.实验结果显示,本文提出的文本分类模型和分类算法,在THUCNews数据集和搜狐数据集上,比基线模型的宏平均精确率分别提高了2.24％、6.78％.

关键词：卷积神经网络、门控Tanh-ReLU单元、双向门控循环单元、多头注意力机制、文本分类

所属期刊栏目：42

分类号：TP391(计算技术、计算机技术)

资助基金：科技部重点研发计划项目;郑州大学青年骨干教师培养计划项目

在线出版日期：2021-03-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：516-521