基于汉语主题词表的统计机器翻译训练数据筛选方法及实验研究

摘要：

统计机器翻译的训练数据通常来源复杂,主题多样,文体不一,与待翻译目标文本的领域不能保证完全一致,导致领域自适应问题.目前统计机器翻译的领域自适应方法以目标数据为基准,着重对训练数据或者翻译模型进行领域的适应调整,但其缺乏数据明确的领域标签.本研究利用《汉语主题词表》的领域知识,对数据进行领域归类,并将其应用到统计机器翻译中.通过汉语句子进行领域自动标注,生成测试集和开发集的领域标签集合,利用领域标签集合筛选训练数据.经过在统计机器翻译系统上进行测试,仅利用部分训练数据就获取了与原始训练数据可比较的翻译结果,证明了本研究方法的有效性和可行性.

关键词：统计机器翻译、训练语料选取、汉语主题词表、领域标签

所属期刊栏目：35

分类号：G25;TS3

资助基金：国家自然科学基金项目61303152、71503240和71403257;中国科学技术信息研究所重点工作项目ZD2016-05

在线出版日期：2016-11-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：875-884