基于变分自编码器的多隐变量双向推理模型

摘要：

开放域对话系统的关键任务之一是生成丰富多样且连贯的对话回复,但是仅从上文信息进行单向推理无法达到这一目标.针对该问题,提出了基于多隐变量的双向推理模型 MLVBI(Multiple Latent Variables Bidirectional Inference).首先,在语言模型中结合变分自动编码器并将单向推理扩充到双向推理,将语料分割为上文、查询与回复后,使用正向推理从查询中推理出回复用于学习正常语序信息,同时使用反向推理从回复中推理出查询用于学习额外主题信息,最后融合成双向推理,使得模型生成更连贯的回复.其次,针对双向推理过程中单个隐变量解释能力不足的问题,引入多个隐变量进一步提高生成对话的多样性.实验结果表明,MLVBI在两个开放域数据集 DailyDialog 和 PersonalChat 上的准确性和多样性都达到了当前最佳的效果,并且消融实验也证明了双向推理和多隐变量的有效性.

关键词：对话生成、变分自动编码器、隐变量、双向推理、长短时记忆网络

所属期刊栏目：50

分类号：TP391(计算技术、计算机技术)

在线出版日期：2023-10-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：176-183