基于MHSA和句法关系增强的机器阅读理解方法研究

摘要：

机器阅读理解(Machine reading comprehension,MRC)是自然语言处理领域中一项重要研究任务,其目标是通过机器理解给定的阅读材料和问题,最终实现自动答题.目前联合观点类问题解答和答案依据挖掘的多任务联合学习研究在机器阅读理解应用中受到广泛关注,它可以同时给出问题答案和支撑答案的相关证据,然而现有观点类问题的答题方法在答案线索识别上表现还不是太好,已有答案依据挖掘方法仍不能较好捕获段落中词语之间的依存关系.基于此,引入多头自注意力(Multi-head self-attention,MHSA)进一步挖掘阅读材料中观点类问题的文字线索,改进了观点类问题的自动解答方法;将句法关系融入到图构建过程中,提出了基于关联要素关系图的多跳推理方法,实现了答案支撑句挖掘;通过联合优化两个子任务,构建了基于多任务联合学习的阅读理解模型.在2020中国"法研杯"司法人工智能挑战赛(China AI Law Challenge 2020,CAIL2020)和HotpotQA数据集上的实验结果表明,本文提出的方法比已有基线模型的效果更好.

关键词：机器阅读理解、多头自注意力、句法关系、多跳推理

所属期刊栏目：48

分类号：TP391.72;H319;K01

资助基金：国家重点研发计划;国家自然科学基金;山西省自然科学基金

在线出版日期：2022-12-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：2718-2728