融入句法结构信息的句子级情感分析算法

摘要：

针对预训练模型BERT在编码文本时,只考虑了文本的序列信息从而只显示地学习了文本的语义信息,但文本的句法结构信息还不能被显示地利用.受知识蒸馏理论的启发,以Teacher-Student框架为模板,提出了Tree-BERT模型将文本的句法结构信息融入到BERT模型中.该模型先使用Tree-LSTM网络学习文本的句法结构信息,然后预测目标领域训练集样本的情感概率分布,也就是样本的情感"软标签",最后在扩充后的目标领域训练集上微调BERT,提高了BERT在句子级情感分析任务上的准确率.

关键词：句法结构信息、知识蒸馏、深度学习模型、句子级情感分析

所属期刊栏目：51

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金72001102

在线出版日期：2023-10-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：1310-1315