基于卷积神经网络和自注意力机制的文本分类模型

摘要：

单词级别的浅层卷积神经网络(CNN)模型在文本分类任务上取得了良好的表现.然而,浅层CNN模型由于无法捕捉长距离依赖关系,影响了模型在文本分类任务上的效果.简单地加深模型层数并不能提升模型的效果.本文提出一种新的单词级别的文本分类模型Word-CNN-Att,该模型使用CNN捕捉局部特征和位置信息,利用自注意力机制捕捉长距离依赖.在AGNews、DBPedia、Yelp Review Polarity、Yelp Review Full、Yahoo!Answers等5个公开的数据集上,Word-CNN-Att比单词级别的浅层CNN模型的准确率分别提高了0.9％、0.2％、0.5％、2.1％、2.0％.

关键词：文本分类、卷积神经网络、自注意力机制、长距离依赖

所属期刊栏目：57

分类号：TP391(计算技术、计算机技术)

资助基金：2018年四川省新一代人工智能重大专项科技项目2018GZDZX0039

在线出版日期：2020-06-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：469-475