融合序列语法知识的卷积-自注意力生成式摘要方法

摘要：

针对基于编码-解码的生成式摘要模型不能充分提取语法知识导致摘要出现不符合语法规则的问题,循环神经网络易遗忘历史信息且训练时无法并行计算导致处理长文本时生成的摘要主旨不显著以及编码速度慢的问题,提出了一种融合序列语法知识的卷积-自注意力生成式摘要方法.该方法对文本构建短语结构树,将语法知识序列化并嵌入到编码器中,使编码时能充分利用语法信息;使用卷积-自注意力模型替换循环神经网络进行编码,更好学习文本的全局和局部信息.在CNN/Daily Mail语料上进行实验,结果表明提出的方法优于当前先进方法,生成的摘要更符合语法规则、主旨更显著且模型的编码速度更快.

关键词：生成式摘要、编码-解码模型、语法分析、卷积-自注意力模型、注意力机制

所属期刊栏目：41

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家"十二五"科技支撑计划项目;北京理工大学基础研究基金项目;国家"二四二"信息安全计划项目

在线出版日期：2021-03-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：93-101