BERT跨语言词向量学习研究

摘要：

随着互联网多语言信息的发展,如何有效地表示不同语言所含的信息已成为自然语言信息处理的一个重要子任务,因而跨语言词向量成为当下研究的热点.跨语言词向量借助迁移学习将单语词向量映射到一个共享的低维空间,在不同语言间进行语法、语义和结构特征的迁移,能够对跨语言语义信息进行建模.B E RT模型通过大量语料的训练,得到一种通用的词向量,同时根据具体的下游任务进一步动态优化,生成上下文语境敏感的动态词向量,解决了以往模型的聚义问题.通过对现有基于B E RT的跨语言词向量研究的文献回顾,综合阐述了基于B E RT的跨语言词向量学习方法、模型、技术的发展,以及所需的训练数据.根据训练方法的不同,分为有监督学习和无监督学习两类,并对两类方法的代表性研究进行详细的对比和总结.最后概述了跨语言词向量的评估方法,并以构建基于B E RT的蒙汉文跨语言词向量进行展望.

关键词：跨语言词向量;蒙汉文;BERT

所属期刊栏目：15

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;内蒙古自然科学基金;国家242信息安全专项

在线出版日期：2021-08-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：1405-1417