基于自注意力与指针网络的自动摘要模型

摘要：

针对生成式摘要方法中的序列到序列模型存在准确率不高、 词语重复、 训练时间长等问题,提出一个改进的模型.引入自注意力机制替代原有循环神经网络和卷积神经网络,实现并行训练和损失函数值的快速下降与稳定,减少训练时间;引入指针网络解决未登录词问题,将未登录词直接扩展到字典中,实现将未登录词从输入序列复制到生成序列中;引入输入供给方法,跟踪生成序列的信息,提高准确率.在大规模中文短文本摘要的数据集上的实验结果表明,改进后的模型获得了较高的Rouge评分,验证了其可行性.

关键词：文本自动摘要、序列到序列模型、注意力机制、指针网络、复制机制

所属期刊栏目：42

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家重点研发计划基金项目2018YFC00705

在线出版日期：2021-04-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：711-718