结合主题和位置信息的两阶段文本摘要模型

摘要：

预训练模型BERT显著提升了文本摘要领域模型的性能,但是其在探索文档全局语义方面和对句子位置信息的利用方面还存在着不足.为了解决以上问题,本文提出了一种结合双主题嵌入和句子绝对位置嵌入的两阶段自动摘要生成模型.首先,文章在两个阶段分别引入主题嵌入,融合了丰富的语义特征,以捕获更准确的全局语义;其次,在抽取式阶段引入句子绝对位置嵌入将句子位置信息进行完全整合,获得更全面的摘要抽取辅助信息以进行摘要提取;在此基础上,模型采用抽取-生成两阶段混合式摘要框架,通过抽取阶段对文本重要信息的提取降低生成摘要内容的冗余性,并进一步提高了模型的性能.在CNN/Daily Mail数据集上实验结果表明,本文提出的模型取得了较好的结果.

关键词：混合式摘要、BERT、双主题嵌入、句子绝对位置嵌入

所属期刊栏目：13

分类号：TP391.1(计算技术、计算机技术)

资助基金：天津市自然科学基金19JCYBJC18700

在线出版日期：2023-10-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：158-163