融合BERT与词嵌入双重表征的汉越神经机器翻译方法

摘要：

神经机器翻译是目前主流的机器翻译方法,但在汉-越这类低资源的机器翻译任务中,由于双语平行语料规模小,神经机器翻译的效果并不理想.考虑到预训练语言模型中包含丰富的语言信息,将预训练语言模型表征融入神经机器翻译系统可能对低资源的机器翻译有积极作用,提出一种融合BERT预训练语言模型与词嵌入双重表征的低资源神经机器翻译方法.首先,使用预训练语言模型和词嵌入分别对源语言序列进行表示学习,通过注意力机制建立2种表征之间的联系后,使用拼接操作得到双重表征向量;然后,经过线性变换和自注意力机制,使词嵌入表征和预训练语言模型表征完全自适应融合在一起,得到对输入文本的充分表征,以此提高神经机器翻译模型性能.在汉越语言对上的翻译结果表明,相比基准系统,在包含127000个平行句对的汉越训练数据中,该方法的BLEU值提升了1.99,在包含70000个平行句对的汉越训练数据中,该方法的BLEU值提升了4.34,表明融合BERT预训练语言模型和词嵌入双重表征的方法能够有效提升汉越机器翻译的性能.

关键词：神经机器翻译、预训练语言模型、词嵌入、汉语-越南语

所属期刊栏目：45

分类号：H085(应用语言学)

资助基金：国家自然科学基金;国家自然科学基金;国家自然科学基金;国家自然科学基金;国家自然科学基金;国家自然科学基金;国家重点研发计划;国家重点研发计划;国家重点研发计划;云南高科技人才项目;云南省重大科技专项;云南省重大科技专项;云南省基础研究计划项目;云南省基础研究计划项目;昆明理工大学省级人培项目

在线出版日期：2023-03-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：546-553