基于预读及简单注意力机制的句子压缩方法

摘要：

针对英文句子压缩方法进行研究,提出一种基于预读及简单注意力机制的压缩方法.在编码器—解码器(encoder-decoder)框架下,以循环门单元(gated recurrent unit,GRU)神经网络模型为基础,在编码阶段对原句语义进行两次建模.首次建模结果作为全局信息,加强二次语义建模,得到更全面准确的语义编码向量.解码阶段充分考虑删除式句子压缩的特殊性,适用简单注意力(3t-attention)机制,将编码向量中与当前解码时刻最相关的语义部分输入到解码器中,提高预测效率及准确率.在谷歌新闻句子压缩数据集上的实验结果表明,所提压缩方法优于已有公开结果.因此,预读及简单注意力机制可有效提高英文句子压缩精度.

关键词：自然语言处理、句子压缩、预读、注意力机制

所属期刊栏目：36

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61862011,61502527;广西自然科学基金资助项目2018GXNSFAA138116;广西密码学与信息安全重点实验室开放课题项目GCIS201704

在线出版日期：2019-05-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：371-375,394