基于HITS算法的双语句对挖掘优化方法

摘要：

识别和定位特定领域双语网站,是基于Web自动构建特定领域双语语料库的关键.然而,特定领域双语网站之间的句对质量往往差异较大.相对于原有基于句对文本特征识别过滤质量较差句对的方法.该文从句对的来源(即特定领域双语网站)出发,依据领域权威性高的网站往往蕴含高质量平行句对这一假设,提出一种基于HITS算法的双语句对挖掘优化方法.该方法通过网站之间的链接信息建立有向图模型,利用HITS算法度量网站的权威性,在此基础上,仅从权威性高的网站中抽取双语句对,用于训练特定领域机器翻译系统.该文以教育领域为目标,验证“领域权威性高的网站蕴含高质量句对”假设的可行性.实验结果表明,利用该文所提方法挖掘双语句对训练的翻译系统,相比于基准系统,其平均性能提升0.44个BLEU值.此外,针对HITS算法存在的“主题偏离”问题,该文提出基于GHITS的改进算法.结果显示,基于GHITS算法改进的机器翻译系统,其性能继续提升0.40个BLEU值.

关键词：统计机器翻译、特定领域机器翻译、特定领域双语网站、权威性

所属期刊栏目：31

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金61373097,61272259,61272260,90920004;教育部博士学科点专项基金2009321110006,20103201110021;江苏省自然科学基金BK2011282;江苏省高校自然科学基金重大项目11KJA520003;苏州市自然科学基金SH201212

在线出版日期：2017-06-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：25-35