面向方面级情感分析的BERT性能改进

摘要：

近年来,随着计算能力的不断提高和网站上大量数据的免费获取,深度学习(deep learning,DL)技术得到广泛应用,对自然语言处理领域产生了巨大的影响,其中BERT(bidirectional encoder representations from transformers,BERT)已在许多自然语言处理(natural language process,NLP)任务以及其他领域中得到广泛使用.如果将BERT用于基于方面级情感分析(aspect-based sentiment analysis,ABSA)任务,通过检查用户在产品评论中表达的情感类型和情感目标来研究消费者对市场产品的看法,将大大提高产品在未来市场的地位.针对这个问题,提出了并行聚合和分层聚合2个模块,应用于ABSA的2个主要任务:方面级提取(aspect extraction,AE)和方面级情感分类(aspect sentiment classification,ASC).这些模块利用BERT语言模型的隐藏层来产生输入序列的更深层语义表示,通过并行方式进行聚合并且进行了分类,对选定的每个隐藏层进行预测并计算损失,然后将这些损失求和以产生模型的最终损失.此外,通过使用条件随机字段(conditional random fields,CRF)解决方面级提取问题.经过研究表明,在BERT微调中应用提出的模型,可以提高BERT模型的性能.

关键词：方面级情感分析;情感分类;并行聚合;分类聚合;BERT微调

所属期刊栏目：39

分类号：TP391.1(计算技术、计算机技术)

资助基金：全国高等学校计算机教育研究会项目;教育部卓越工程师教育培养计划项目产学合作协同育人项目;辽宁省科技厅自然科学基金资助项目

在线出版日期：2022-03-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：459-464