用于文本分类的多探测任务语言模型微调

摘要：

预训练语言模型被广泛运用在多项自然语言处理任务中,但是对于不同的任务没有精细的微调.针对文本分类任务,提出基于探测任务的语言模型微调方法,利用探测任务训练模型特定的语言学知识,可提高模型在文本分类任务上的性能.设计了6个探测任务,覆盖句子浅层、语法和语义三方面信息.最后在6个文本分类数据集上验证了本文的方法,使分类错误率得到改善.

关键词：探测任务、语言模型、多任务学习、文本分类

所属期刊栏目：42

分类号：TN929.53

资助基金：国家重点研发计划2017YFC1307705

在线出版日期：2020-03-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：76-83