结合Transformer模型与深度神经网络的数据到文本生成方法

摘要：

数据到文本的生成是指从结构化数据生成连贯文本的一种自然语言处理方法.近年来,由于端到端训练的深度神经网络的应用,数据到文本生成的方法显示出了巨大潜力.该方法能够处理大量数据自动生成连贯性文本,常用于新闻写作、报告生成等场景.然而,已有研究中对于数据中具体数值、时间等数据信息的推理存在较大缺陷,无法充分利用数据间的结构信息给出合理的生成指引,并且生成过程容易出现语义与句法分离训练的问题.因此,文中提出一种结合Transformer模型与深度神经网络的数据到文本生成方法,并提出一个用于内容规划的Transformer Text Planning(TTP)算法,有效地解决上述问题.在Rotowire公开数据集上进行方法验证,实验结果表明,文中方法性能优于已有数据到文本生成模型,可直接应用于结构化数据到连贯性文本的生成任务中,具有一定的实际应用价值.

关键词：文本生成、Transformer模型、内容预选、内容规划、深度神经网络

所属期刊栏目：43

分类号：TP311(计算技术、计算机技术)

资助基金：国家重点研发计划资助项目2018YFB1402500

在线出版日期：2020-08-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：91-100