基于BERT和层次化Attention的微博情感分析研究

摘要：

微博情感分析旨在挖掘网民对特定事件的观点和看法,是网络舆情监测的重要内容.目前的微博情感分析模型一般使用Word2Vector或GloVe等静态词向量方法,不能很好地解决一词多义问题;另外,使用的单一词语层Attention机制未能充分考虑文本层次结构的重要性,对句间关系捕获不足.针对这些问题,提出一种基于BERT和层次化Attention的模型BERT-HAN(bidirectional encoder representations from transformers-hierarchical Attention networks).通过BERT生成蕴含上下文语意的动态字向量;通过两层BiGRU分别得到句子表示和篇章表示,在句子表示层引入局部Attention机制捕获每句话中重要的字,在篇章表示层引入全局Attention机制以区分不同句子的重要性;通过Softmax对情感进行分类.实验结果表明,提出的BERT-HAN模型能有效提升微博情感分析的Macro F1和Micro F1值,具有较大的实用价值.

关键词：深度学习;情感分析;特征提取;词向量;注意力机制

所属期刊栏目：58

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;甘肃省重点研发计划

在线出版日期：2022-03-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：156-162