融合语义信息的汉老双语句子对齐方法

摘要：

双语句子对齐能够为机器翻译、信息检索等跨语言领域任务提供高质量的平行语料,在低资源的老挝语自然语言处理研究中显得尤为重要.由于汉老双语文本中存在非单调对齐(交叉对齐和空对齐)的情况,容易影响汉老句子对齐的效果.此外,人名、地名作为新闻要素,大多属于未登录词,也给汉老句子对齐研究增加了难度.该文提出了一种融合局部和全局语义信息的汉老双语句子对齐方法.首先,将汉老双语句长特征和人名地名特征融入Glove词向量,然后利用双向门控循环单元对特征词向量进行编码,以得到更细粒度的句子局部信息.其次,引入交互注意力机制,提取双语句子中的全局信息,保证对上下文语义特征的有效利用.最后,在多层感知机的基础上引入KM算法,该方法可以处理非单调对齐文本,提高模型的泛化能力.实验结果表明,该方法显著提高了汉老双语新闻语料的对齐性能.

关键词：汉老双语句子对齐、语义信息、双向门控循环单元、注意力机制

所属期刊栏目：37

分类号：TP391(计算技术、计算机技术)

在线出版日期：2023-03-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：79-87