基于单向Transformer和孪生网络的多轮任务型对话技术

摘要：

循环神经网络和Transformer在多轮对话系统的建模上依赖大量的样本数据且回复准确率过低.为此,提出一种针对任务型对话系统的建模方法.引入预训练模型对句子语意和对话过程进行深度编码,对Transformer模型进行精简,仅保留编码器部分的单向Transformer,将应答部分抽象成不同的指令,采用孪生网络对指令进行相似度排序,选择相似度最高的指令生成应答.在MultiWOZ数据集上的实验结果表明,与LSTM和基于Transformer模型相比,该方法预测速度更快,在小数据集上具有更好的性能,在大数据集上也能取得与当前先进模型相当的效果.

关键词：循环神经网络;多轮对话系统;预训练模型;Transformer模型;孪生网络

所属期刊栏目：47

分类号：TP18(自动化基础理论)

资助基金：中美绿色基金MA009RX18

在线出版日期：2021-09-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：55-58,66