基于动态注意力和多角度匹配的答案选择模型

摘要：

针对当前主流神经网络在处理答案选择任务时无法同时满足句子的充分表示以及句子间信息充分交互的问题,提出了基于动态注意力和多角度匹配(DAMPM)的答案选择模型.首先,调用预训练语言模型的嵌入(ELMo)获得包含简单语义信息的词向量;接着,在注意力层采用过滤机制有效地去除句子中的噪声,从而更好地得到问句和答案句的句子表征;其次,在匹配层同时引入多种匹配策略来完成句子向量之间的信息交互;然后,利用双向长短期记忆(BiLSTM)网络对匹配层输出的句子向量进行拼接;最后,通过分类器来计算拼接向量的相似度大小,从而得到问句和答案句之间的语义关联.在文本检索会议问答(TRECQA)数据集上的实验结果表明,与基于比较聚合框架的基线模型中的动态滑动注意力网络(DCAN)方法相比,DAMPM在平均准确率均值(MAP)和平均倒数排名(MRR)两个性能指标上均提高了1.6个百分点.在维基百科问答(WikiQA)数据集上的实验结果表明,DAMPM相较DCAN在两个性能指标上分别提高了0.7个百分点和0.8个百分点.所提DAMPM相较于基线模型中的方法整体上有更好的性能表现.

关键词：神经网络;答案选择;动态注意力机制;多角度匹配;预训练语言模型

所属期刊栏目：41

分类号：TP391.1(计算技术、计算机技术)

在线出版日期：2021-12-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：3156-3163