面向机器阅读理解的多任务层次微调模型

摘要：

机器阅读理解与问答一直以来被认为是自然语言理解的核心问题之一, 要求模型通过给定的文章与问题去挑选出最佳答案. 随着BERT等预训练模型的兴起, 众多的自然语言处理任务取得了重大突破, 然而在复杂的阅读理解任务方面仍然存在一些不足, 针对该任务, 提出了一个基于回顾式阅读器的机器阅读理解模型. 模型使用RoBERTa预训练模型对问题与文章进行编码, 并将阅读理解部分分为词级别的精读模块与句子级别的泛读模块两个模块. 这两个模块以两种不同的粒度来获取文章和问题的语义信息, 最终结合两个模块的预测答案合并输出. 该模型在CAIL2020的数据集上综合F1值达到了66.15％, 相较于RoBERTa模型提升了5.38％, 并通过消融实验证明了本模型的有效性.

关键词：自然语言处理;机器阅读理解;多任务学习;预训练语言模型;层次微调

所属期刊栏目：31

资助基金：国家自然科学基金;广东省普通高校人工智能重点领域专项;广东省信息物理融合系统重点实验室建设专项

在线出版日期：2022-03-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：212-219