通过N-gram增强局部上下文视野感知的中文生成式摘要

摘要：

基于序列到序列模型的生成式文档摘要算法已经取得了良好的效果.鉴于中文N-gram蕴含着丰富的局部上下文信息,该文提出将N-gram信息整合到现有模型的神经框架NgramSum,即利用N-gram信息增强神经模型局部上下文语义感知能力.该框架以现有的神经模型为主干,从本地语料库提取N-gram信息,提出了一个局部上下文视野感知增强模块和一个门模块,并来分别对这些信息进行编码和聚合.在NLPCC 2017中文单文档摘要评测数据集上的实验结果表明:该框架有效增强了基于LSTM、Transformer、预训练模型三种不同层次的序列到序列的强基线模型,其中ROUGE-1/2/L相较基线模型平均分别提高了2.76,3.25,3.10个百分点.进一步的实验和分析也证明了该框架在不同N-gram度量方面的鲁棒性.

关键词：生成式文摘、N-gram、局部上下文视野感知增强、门模块

所属期刊栏目：36

分类号：TP391(计算技术、计算机技术)

资助基金：国防技术基础项目JSQB2017206C002

在线出版日期：2022-10-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：135-143,153