10.3969/j.issn.2095-2163.2020.01.002
序列-序列模型注意力机制模块基本原理探究
编码器-解码器注意力矩阵一直都被认为是传统的神经机器翻译模型(例如基于循环神经网络的模型)学习到的词对齐.然而,通过实验证明了,对于Transformer这一结论并不成立.通过比较Transformer与基于循环神经网络的模型,研究发现了2种模型中注意力机制的本质上的2个区别.基于这个观察,提出了2种能够让Transformer的注意力机制学习到词对齐的方法.实验结果证明了本文提出的方法的有效性,可使Transformer既能学习到很好的词对齐,也能够提升机器翻译的性能.
序列-序列模型、词对齐、Transformer
10
TP391(计算技术、计算机技术)
国家重点研发计划项目2017YFB1002102
2020-06-12(万方平台首次上网日期,不代表论文的发表时间)
共6页
1-6