基于循环神经网络的对话系统记忆机制

摘要：

针对基于循环神经网络(recurrent neural network,RNN)的对话系统缺乏上下文记忆能力的问题,提出一种带有额外记忆能力模块的深度学习模型.以序列到序列框架为基础,增加一个基于双向循环神经网络(Bi-directional RNN)和全连接神经网络的记忆选择模块.通过把当前对话和上下文输入到记忆选择模块中得到一个选择值,比较选择值与阈值决定是否把上下文语句也加入到当前对话的序列到序列结构的编码端,使模型在需要使用上下文信息的时候可以选择性地获取,使得模型具备记忆能力.实验结果表明,使用相同的语料库进行训练,加入了记忆能力模块的模型相比没有记忆能力的模型明显具备了结合上下文的记忆能力,可以生成更准确的回复.

关键词：对话系统、记忆机制、序列到序列框架、循环神经网络、双向循环神经网络

所属期刊栏目：40

分类号：TP183(自动化基础理论)

资助基金：四川省科技厅应用基础重点基金项目2017JY0011

在线出版日期：2020-01-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：3259-3264