基于word2vec的大中华区词对齐库的构建

摘要：

该文针对大陆、香港和台湾地区(简称大中华区)存在同一种语义但采用不同词语进行表达的语言现象进行分析.首先,我们抓取了维基百科以及简繁体新闻网站上的3 200 000万组大中华区平行句对,手工标注了一致性程度达到95％以上的10 000组大中华区平行词对齐语料库.同时,我们提出了一个基于word2vec的两阶段大中华区词对齐模型,该模型采用word2vec获取大中华区词语的向量表示形式,并融合了有效的余弦相似度计算方法以及后处理技术.实验结果表明我们提出的大中华区词对齐模型在以上两种不同文体的词对齐语料库上的F1值显著优于现有的GIZA++和基于HMM的基准模型.此外,我们在维基百科上利用该词对齐模型进一步生成了90 029组准确率达82.66％的大中华区词语三元组.

关键词：大中华区、词对齐、最长公共子序列、word2vec

所属期刊栏目：29

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金61462045,61402208,61462044;国家语委"十二五"规划YB125-99;江西省自然科学基金20132BAB201030,20151BAB207027,20151BAB207025

在线出版日期：2016-01-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：76-83