基于场景图的段落生成序列图像方法

摘要：

通过生成对抗网络进行段落生成序列图像的任务已经可以生成质量较高的图像.然而当输入的文本涉及多个对象和关系时,文本序列的上下文信息难以提取,生成图像的对象布局容易产生混乱,生成的对象细节不足.针对该问题,文中在Sto-ryGAN的基础上,提出了一种基于场景图的段落生成序列图像方法.首先,通过图卷积将段落转换为多个场景图,每个场景图包含对应文本的对象和关系信息;然后,预测对象的边界框和分割掩膜来计算生成场景布局;最后,根据场景布局和上下文信息生成更符合对象及其关系的序列图像.在CLEVR-SV和CoDraw-SV数据集上进行测试,该方法可以生成包含多个对象及其关系的64×64像素的序列图像.实验结果表明,在CLEVR-SV数据集上,所提方法的SSIM和FID比StoryGAN分别提升了1.34％和9.49％;在CoDraw-SV数据集上,所提方法的ACC比StoryGAN提高了7.40％.所提方法提高了生成场景的布局合理性,不仅可以生成包含多个对象和关系的图像序列,而且生成的图像质量更高,细节更清晰.

关键词：生成对抗网络;图卷积神经网络;场景布局;文本生成图像

所属期刊栏目：49

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;江苏省重点研发计划项目;江苏省教育厅高等学校自然科学研究面上项目;江苏省研究生实践创新项目

在线出版日期：2022-01-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：233-240