序列-序列模型注意力机制模块基本原理探究

摘要：

编码器-解码器注意力矩阵一直都被认为是传统的神经机器翻译模型(例如基于循环神经网络的模型)学习到的词对齐.然而,通过实验证明了,对于Transformer这一结论并不成立.通过比较Transformer与基于循环神经网络的模型,研究发现了2种模型中注意力机制的本质上的2个区别.基于这个观察,提出了2种能够让Transformer的注意力机制学习到词对齐的方法.实验结果证明了本文提出的方法的有效性,可使Transformer既能学习到很好的词对齐,也能够提升机器翻译的性能.

关键词：序列-序列模型、词对齐、Transformer

所属期刊栏目：10

分类号：TP391(计算技术、计算机技术)

资助基金：国家重点研发计划项目2017YFB1002102

在线出版日期：2020-06-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：1-6