一种基于融合递归机制的长文本机器阅读理解算法

摘要：

目前对于机器阅读理解的研究大多都使用预先训练的语言模型如BERT来编码文档和问题的联合上下文信息,相较于传统的RNN结构,BERT模型在机器阅读理解领域取得了显著的性能改进.但是当前基于BERT的机器阅读理解模型由于输入长度有限(最大长度为512),在进行特征提取时,存在一定程度的语义丢失,且不具备建立长距离依赖能力.为了解决这个问题,提出了一种基于BERT-Base的长本文机器阅读理解模型BERT-FRM.通过添加重叠窗口层以更灵活的方式切割输入文本,使用两个BERT模型独立编码问题和文档,并且在模型中添加递归层来传递不同片段之间的信息,赋予模型建立更长期依赖的能力.实验结果表明,BERT-FRM模型与BERT-Base基线模型相比,在TriviaQA和CoQA两个机器阅读理解数据集上的Fl值分别提升了3.1％和0.8％.

关键词：机器阅读理解、BERT、递归机制、长文本算法

所属期刊栏目：48

分类号：TP391.1(计算技术、计算机技术)

资助基金：西南民族大学研究生创新型科研项目CX2021SZ48

在线出版日期：2022-05-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：190-196