片段抽取型机器阅读理解算法研究

摘要：

针对现有的机器阅读理解模型主要使用循环模型处理文本序列信息,这容易导致训练和预测速度慢且模型预测准确性不高等问题,提出了一种片段抽取型机器阅读理解算法QA-Reader.该算法利用大型预训练语言模型RoBERTa-www-ext获取问题和上下文的词嵌入表示;使用深度可分离卷积和多头自注意力机制进行编码;计算上下文和问题的双向注意力及上下文的自注意力,以融合上下文和问题之间的关联信息,拼接得到最终的语义表征;经过模型编码器预测得到答案,模型针对不可回答的问题计算了其不可回答的概率.在中文片段抽取型机器阅读理解数据集上进行了实验,结果表明QA-Reader模型与基线模型相比,其性能方面EM和F1值分别提高了3.821％、2.740％,训练速度提高了0.089％.

关键词：机器阅读理解;片段抽取型机器阅读理解;RoBERTa-www-ext;卷积神经网络;注意力机制

所属期刊栏目：38

分类号：TP391(计算技术、计算机技术)

资助基金：国家社会科学基金后期资助项目20FTQB020

在线出版日期：2021-12-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：3268-3273