基于BERT的情感分析研究

摘要：

针对解决粗粒度和细粒度情感分析的问题,提出一种基于BERT的深度学习情感分析模型.首先通过预处理将文本信息转化为矩阵向量的表示形式;其次利用MLM和NSP进行联合预训练;接着在此基础上采用二次预训练和学习率逐层衰减的方式对预训练模型进行微调,并选用Dropout正则化的方式防止过拟合;然后输入Softmax分类器进行分类预测;最后在IMDB和SST数据集上进行实验,并与其他多种现有模型进行比较.实验结果表明,在没有复杂架构影响的条件下,该模型的预测效果明显优于其他语言模型,同时也证明了迁移学习可以有效提升情感分析模型的预测准确性.

关键词：情感分析、BERT、细粒度、自然语言处理、深度学习、预测准确性

所属期刊栏目：44

分类号：TN911.1-34;TP391.1

资助基金：国家自然科学基金;国家自然科学基金;国家自然科学基金;云南大学服务云南行动计划;省教育厅产业化扶持项目

在线出版日期：2021-05-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：110-114