融合BERT词嵌入表示和主题信息增强的自动摘要模型

摘要：

自动文本摘要能够帮助人们快速筛选、辨别信息,掌握新闻关键内容,缓解信息过载问题.主流的生成式自动文摘模型主要基于编码器-解码器架构.针对解码器端在预测目标词时未充分考虑文本主题信息,并且传统的Word2Vec静态词向量无法解决一词多义问题的现状,提出了 一种融合BERT词嵌入表示和主题信息增强的中文短新闻自动摘要模型.编码器端联合无监督算法获取文本主题信息并将其融入注意力机制中,提升了模型的解码效果;解码器端将BERT预训练语言模型抽取出的BERT句向量作为补充特征,以获取更多的语义信息,同时引入指针机制来解决词表外的单词问题,并利用覆盖机制有效抑制重复.在训练过程中,为了避免暴露偏差问题,针对不可微指标ROUGE采用强化学习方法来优化模型.在两个中文短新闻摘要数据集上的多组对比实验结果表明,该模型在ROUGE评价指标上有显著的提升,能有效融合文本主题信息,生成语句流畅、简明扼要的摘要.

关键词：生成式摘要、BERT、主题信息、注意力机制、强化学习

所属期刊栏目：49

分类号：TP391.1(计算技术、计算机技术)

资助基金：江苏省研究生科研与实践创新计划项目JNKY19_074

在线出版日期：2022-06-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：313-318