一种基于BERT的自动文本摘要模型构建方法

摘要：

针对传统词向量在自动文本摘要过程中因无法对多义词进行有效表征而降低文本摘要准确度和可读性的问题,提出一种基于BERT(Bidirectional Encoder Representations from Transformers)的自动文本摘要模型构建方法.该方法引入BERT预训练语言模型用于增强词向量的语义表示,将生成的词向量输入Seq2Seq模型中进行训练并形成自动文本摘要模型,实现对文本摘要的快速生成.实验结果表明,该模型在Gigaword数据集上能有效地提高生成摘要的准确率和可读性,可用于文本摘要自动生成任务.

关键词：文本摘要、BERT模型、注意力机制、Sequence-to-Sequence模型

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家重点研发计划资助项目2016YFB0801400

在线出版日期：2020-04-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：63-68