基于Transformer和双重注意力融合的分层交互答案选择模型

摘要：

答案选择是问答系统中的关键组成部分,提升其准确性是问答系统研究的重要内容之一.近年来深度学习技术广泛应用于答案选择,获得了良好效果,但仍旧有一定的局限性.其中模型对问题语义信息利用度低、缺乏局部语义重视、句子间交互感知能力差等问题尤为突出.针对上述问题提出了一种基于Transformer和双重注意力融合的答案选择模型 NHITAS(new hierarchical interactive Transformer for answer selection).首先,在信息预处理部分提取问题类别和关键词对答案进行初步筛选,并引入外部知识作为句子额外语义补充;其次,采用分层交互的Transformer对句子进行语义上下文建模,提出了 UP-Transformer(untied position-Transformer)和DA-Transformer(decay self-attention-Transformer)两种结构学习语义特征;最后,通过双重 注意力融合过滤句子噪声,增强问题和答案之间的语义交互.在WikiQA和TrecQA数据集上对NHITAS的性能进行测试,实验结果表明所提模型对比其他模型,能够有效提升答案选择任务的效果.

关键词：答案选择、Transformer、双重注意力机制、问答系统、深度学习

所属期刊栏目：39

分类号：TP391.1(计算技术、计算机技术)

资助基金：中石油重大科技专项资助项目;中央高校基础科研业务专项资金资助项目

在线出版日期：2022-11-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：3320-3326