基于多粒度交互推理的答案选择方法研究

摘要：

预训练语言模型已经广泛应用于不同自然语言处理任务,其蕴含的自注意力机制能够在"文本对子"之上形成统一的语义编码表示,从而使BERT模型的输入结构和运算模式理论上适用于处理"目标问题和候选答案"样本.然而,直接应用BERT等语言模型将面临两种局限性:①BERT并不侧重词块、短语和子句的独立语义信息表示,使得文本在匹配过程中往往错失不同颗粒度语义相关性的感知;②BERT中的多头注意力机制不能在不同粒度的语义结构之间计算交互强度(相关性).针对上述问题,该文提出一种基于BERT的多粒度交互推理网络,该方法将问题与候选答案的语言信息进行多粒度语义编码,丰富了句子间的语义信息与交互性.此外,该文提出句子级的编码损失策略,借以提高编码过程对关键子句的加权能力.在WPQA数据集上的实验结果显示,该方法有效提高了非事实性问题的答案选择性能.

关键词：答案选择、预训练模型、多粒度编码

所属期刊栏目：37

分类号：TP391(计算技术、计算机技术)

资助基金：科技部重点研发项目2017YFB1002104

在线出版日期：2023-03-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：104-111,120