融合BERT嵌入与注意力机制的方面情感分析

摘要：

针对现有的方面情感分析任务研究存在文本利用率低、有效信息抽取难度大和无法高效识别单词多义性等问题,文中提出一种融合BERT嵌入与注意力机制的方面情感分析模型.该模型将BERT预训练语言模型和多头注意力机制结合构建BERT?BiLSTM?Attention架构用于表征语句情感特征.首先采用具有双向Transformer结构的BERT模型,根据单词上下文动态生成语义向量;然后通过有效识别单词的多义性增强文本单词的语义表示,并将语义向量输入BiLSTM捕捉双向的语义依赖关系,以此增强模型对有效信息的抽取能力;最后结合具有并行化信息处理能力的多头注意力机制解析编码后的文本表示,获取与方面情感关联度较高的信息.SemEval 2014数据集中的实验结果表明:相比Glove词向量模型,BERT模型对方面情感分析任务的性能有显著提升;相比基线模型,该模型的准确率更高.

关键词：方面情感分析、注意力机制、多义性、BERT模型、语义向量、情感特征

所属期刊栏目：45

分类号：TN911⁃34;TP391

资助基金：山东省自然科学基金资助项目ZR2017BF043

在线出版日期：2022-06-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：130-136