基于枢轴语言的图像描述生成研究

摘要：

当前图像描述生成的研究主要仅限于单语言(如英文),这得益于大规模的已人工标注的图像及其英文描述语料.该文探索零标注资源情况下,以英文作为枢轴语言的图像中文描述生成研究.具体地,借助于神经机器翻译技术,该文提出并比较了两种图像中文描述生成的方法:(1)串行法,该方法首先将图像生成英文描述,然后由英文描述翻译成中文描述;(2)构建伪训练语料法,该方法首先将训练集中图像的英文描述翻译为中文描述,得到图像-中文描述的伪标注语料,然后训练一个图像中文描述生成模型.特别地,对于第二种方法,该文还比较了基于词和基于字的中文描述生成模型.实验结果表明,采用构建伪训练语料法优于串行法,同时基于字的中文描述生成模型也要优于基于词的模型,BLEU_4值达到0.341.

关键词：图像描述生成、机器翻译、神经网络、枢轴语言

所属期刊栏目：33

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金61401295

在线出版日期：2019-04-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：110-117