标签增强的中文看图造句

摘要：

图像数据飞速增多,而计算机与人对图像数据的理解间存在语义鸿沟.如何有效地理解、管理和组织图像数据是学术界和工业界面临的一个重大挑战.利用计算机自动生成能够描述图像内容的自然语言描述有助于弥合语义鸿沟,从而提升对图像数据的理解.现有工作致力于英文句子生成.与之不同的是,该文实现了一个面向中文的看图造句系统.通过大规模机器翻译克服了中文训练数据缺乏的问题,同时提出了结合中文标签自动预测,对深度模型预测句子进行重排序的增强方法,改善句子生成质量.在两个中文图像句子数据集Flickr8k-cn和Flickr30k-cn上的实验表明,该文提出的标签增强方法可以有效改善现有两种看图造句模型(Google模型和Attention模型)所生成句子的质量.标签增强使得Google模型在Flickr8k-cn测试集上的CIDEr指标从0.474提高到0.503,Flickr30k-cn测试集上的CIDEr指标从0.325提高到0.356.通过标签增强,Attention模型在这两个数据集上的CIDEr分别从0.510提高到0.536,从0.392提高到到0.411.

关键词：图像句子生成、中文模型、中文标签预测、深度学习、机器翻译

所属期刊栏目：42

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金项目"面向中文的看图造句若干关键问题研究"61672523;"基于社会网络计算的企业舆情管理新理论新方法"71531012

在线出版日期：2019-05-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：136-148