基于注意力机制的CRNN文本分类算法

摘要：

为增强文本特征的表达能力,提出一种基于注意力机制(Attention)的卷积循环神经网络(CRNN)的文本分类算法.把预训练好的词向量作为输入,使用卷积神经网络(CNN)提取文本向量的特征;利用双向门控循环单元(Bi-GRU)捕获文本中的词序信息,提取文本的上下文依赖关系并结合Attention机制识别不同特征的重要性;使用Highway网络进行特征优化.将该模型在20Newsgroups、SST-1和SST-2这3个英文语料上进行实验,实验结果表明,该模型有效提高了分类任务的准确率.

关键词：文本分类、卷积神经网络、注意力机制、双向门控循环单元、Highway网络、词向量

所属期刊栏目：40

分类号：TP391(计算技术、计算机技术)

资助基金：山东省自然科学基金项目ZR2017LF004、ZR2018LF002;国家自然科学基金项目31500669;山东省高等学校科技计划基金项目J16LN20

在线出版日期：2020-01-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：3151-3157