基于BERT和双通道注意力的文本情感分类模型

摘要：

对于句子级文本情感分析问题,目前的深度学习方法未能充分运用情感词、否定词、程度副词等情感语言资源.提出一种基于变换器的双向编码器表征技术(Bidirectional encoder representations from transformers,BERT)和双通道注意力的新模型.基于双向门控循环单元(BiGRU)神经网络的通道负责提取语义特征,而基于全连接神经网络的通道负责提取情感特征;同时,在两个通道中均引入注意力机制以更好地提取关键信息,并且均采用预训练模型BERT提供词向量,通过BERT依据上下文语境对词向量的动态调整,将真实情感语义嵌入到模型;最后,通过对双通道的语义特征与情感特征进行融合,获取最终语义表达.实验结果表明,相比其他词向量工具,BERT的特征提取能力更强,而情感信息通道和注意力机制增强了模型捕捉情感语义的能力,明显提升了情感分类性能,且在收敛速度和稳定性上更优.

关键词：文本情感分析、深度学习、基于变换器的双向编码器表征技术、双通道、注意力、双向门控循环单元

所属期刊栏目：35

分类号：TP391(计算技术、计算机技术)

在线出版日期：2020-08-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：642-652