基于源语言句法增强解码的神经机器翻译方法

摘要：

当前性能最优的机器翻译模型之一Transformer基于标准的端到端结构,仅依赖于平行句对,默认模型能够自动学习语料中的知识;但这种建模方式缺乏显式的引导,不能有效挖掘深层语言知识,特别是在语料规模和质量受限的低资源环境下,句子解码缺乏先验约束,从而造成译文质量下降.为了缓解上述问题,提出了基于源语言句法增强解码的神经机器翻译(SSED)方法,显式地引入源语句句法信息指导解码.所提方法首先利用源语句句法信息构造句法感知的遮挡机制,引导编码自注意力生成一个额外的句法相关表征;然后将句法相关表征作为原句表征的补充,通过注意力机制融入解码,共同指导目标语言的生成,实现对模型的先验句法增强.在多个IWSLT及WMT标准机器翻译评测任务测试集上的实验结果显示,与Transformer基线模型相比,所提方法的BLEU值提高了0.84～3.41,达到了句法相关研究的最先进水平.句法信息与自注意力机制融合是有效的,利用源语言句法可指导神经机器翻译系统的解码过程,显著提高译文质量.

关键词：自然语言处理、神经机器翻译、句法信息、Transformer、增强解码、外部知识融入

所属期刊栏目：42

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;科技创新新一代人工智能重大项目;云南省应用基础研究计划项目

在线出版日期：2022-12-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：3386-3394