结合BERT和BiSRU-AT的中文文本情感分类

摘要：

针对传统语言模型的词向量表示无法解决多义词表征的问题,以及现有情感分析模型不能充分捕获长距离语义信息的问题,提出了一种结合BERT和BiSRU-A T的文本情感分类模型BERT-BiSRU-A T.首先用预训练模型BERT获取融合文本语境的词向量表征;然后利用双向简单循环单元(BiSRU)二次提取语义特征和上下文信息;再利用注意力机制对BiSRU层的输出分配权重以突出重点信息;最后使用Softmax激励函数得出句子级别的情感概率分布.实验采用中文版本的推特数据集和酒店评论数据集.实验结果表明,结合BERT和BiSRU-A T的文本情感分析模型能够获得更高的准确率,双向简单循环模型和注意力机制的引入能有效提高模型的整体性能,有较大的实用价值.

关键词：文本情感分析;语义特征;注意力机制;双向简单循环单元;双向解码器

所属期刊栏目：43

分类号：TP391(计算技术、计算机技术)

资助基金：广东省重点领域研发计划;广州市重点领域研发计划

在线出版日期：2021-09-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：1668-1675