基于Self-Attention模型的机器翻译系统

摘要：

近几年来神经机器翻译(Neural Machine Translation,NMT)发展迅速,Seq2Seq框架的提出为机器翻译带来了很大的优势,可以在观测到整个输入句子后生成任意输出序列.但是该模型对于长距离信息的捕获能力仍有很大的局限,循环神经网络(RNN)、LSTM网络都是为了改善这一问题提出的,但是效果并不明显.注意力机制的提出与运用则有效地弥补了该缺陷.Self-Attention模型就是在注意力机制的基础上提出的,本文使用Self-Attention为基础构建编码器-解码器框架.本文通过探讨以往的神经网络翻译模型,分析Self-Attention模型的机制与原理,通过TensorFlow深度学习框架对基于Self-Attention模型的翻译系统进行实现,在英文到中文的翻译实验中与以往的神经网络翻译模型进行对比,表明该模型取得了较好的翻译效果.

关键词：神经机器翻译、Seq2Seq框架、注意力机制、Self-Attention模型

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金青年科学基金资助项目61103017;中国科学院感知中国先导专项子课题XDA06040504

在线出版日期：2019-08-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：9-14