基于注意力机制的双BERT有向情感文本分类研究

摘要：

在计算社会科学中,理解政治新闻文本中不同政治实体间的情感关系是文本分类领域一项新的研究内容.传统的情感分析方法没有考虑实体之间情感表达的方向,不适用于政治新闻文本领域.针对这一问题,本文提出了一种基于注意力机制的双变换神经网络的双向编码表示(bi-directional encoder representations from transformers,BERT)有向情感文本分类模型.该模型由输入模块、情感分析模块、政治实体方向模块和分类模块四部分组成.情感分析模块和政治实体方向模块具有相同结构,都先采用BERT预训练模型对输入信息进行词嵌入,再采用三层神经网络分别提取实体之间的情感信息和情感方向信息,最后使用注意力机制将两种信息融合,实现对政治新闻文本的分类.在相关数据集上进行实验,结果表明该模型优于现有模型.

关键词：情感分析、变换神经网络的双向编码表示、预训练模型、注意力机制、深度学习、机器学习、文本分类、神经网络

所属期刊栏目：17

分类号：TP391(计算技术、计算机技术)

资助基金：中央高校基本科研业务费专项资金项目2021MS092

在线出版日期：2023-01-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：1220-1227