利用层级交互注意力的文本摘要方法

摘要：

基于注意力机制的编解码模型在文本摘要、机器翻译等序列到序列任务上得到了广泛的应用.在深度学习框架中,深层神经网络能够提取输入数据不同的特征表示,因此传统编解码模型中通常堆叠多层解码器来提高模型性能.然而现有的模型在解码时仅利用编码器最后一层信息,而忽略编码器其余层的特征.鉴于此,提出一种基于多层循环神经网络和层级交互注意力机制的摘要生成模型,通过层级交互注意力提取编码器不同层次的特征信息来指导摘要的生成.为了处理因引入不同层次特征而带来的信息冗余问题,引入变分信息瓶颈压缩数据噪声.最后在Gigaword和DUC2004摘要数据集上进行实验,结果表明所提方法能够获得最佳性能.

关键词：文本摘要、编解码模型、层级交互注意力机制、变分信息瓶颈

所属期刊栏目：14

分类号：TP399(计算技术、计算机技术)

资助基金：The National Key Research and Development Program of China under Grant Nos.2018YFC0830105,2018YFC0830101,2018YFC0830100国家重点研发计划;the National Natural Science Foundation of China under Grant Nos.61972186,61762056,61472168国家自然科学基金

在线出版日期：2020-11-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：1681-1692