10.3778/j.issn.1673-9418.1910037
SentiBERT:结合情感信息的预训练语言模型
在大规模无监督语料上预训练的语言模型正逐渐受到自然语言处理领域研究者的关注.现有模型在预训练阶段主要提取文本的语义和结构特征,针对情感类任务的复杂情感特征,在最新的预训练语言模型BERT(双向transformers编码表示)的基础上,提出了一种侧重学习情感特征的预训练方法.在目标领域的预训练阶段,利用情感词典改进了B E RT的预训练任务.同时,使用基于上下文的词粒度情感预测任务对掩盖词情感极性进行分类,获取偏向情感特征的文本表征.最后在少量标注的目标数据集上进行微调.实验结果表明,相较于原B E RT模型,可将情感任务的精度提升1个百分点,特别是训练样本较少时,能取得更先进的效果.
BERT、情感分类、预训练语言模型、多任务学习
14
TP391(计算技术、计算机技术)
The National Key Research and Development Program of China under Grant No. 2017YFC1601800 国家重点研发子课题;the Na-tional Natural Science Foundation of China under Grant Nos. 61876072, 61673193 国家自然科学基金;the Postdoctoral Science Foundation of China under Grant No. 2018T110441 中国博士后科学基金特助;the Six Talent Peaks Project in Jiangsu Province under Grant No. XYDXX-012 江苏省六大人才高峰项目
2020-09-14（万方平台首次上网日期，不代表论文的发表时间）
共8页
1563-1570
