基于混合注意力与强化学习的文本摘要生成

摘要：

基于递归神经网络的序列到序列的模型在文本摘要生成任务中取得了非常好的效果,但这类模型大多存在生成文本重复、曝光偏差等问题.针对重复问题,提出一种由存储注意力和解码自注意力构成的混合注意力,通过存储历史注意力和增加对历史生成单词的注意力来克服该问题;使用强化学习作为一种新的训练方式来解决曝光偏差问题,同时修正损失函数.在CNN/Daily Mail数据集对模型进行测试,以ROUGE为评价指标,结果证明了混合注意力对重复问题有较大的改善,借助强化学习可以消除曝光偏差,整合后的模型在测试集上超越先进算法.

关键词：文本摘要生成、混合注意力、强化学习、自然语言处理、曝光偏差、递归神经网络

所属期刊栏目：56

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家自然科学基金No.61871260

在线出版日期：2020-01-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：185-190