基于多层次分辨率递进生成对抗网络的文本生成图像方法

摘要：

针对文本生成图像任务存在生成图像有目标结构不合理、图像纹理不清晰等问题,在注意力生成对抗网络(AttnGAN)的基础上提出了多层次分辨率递进生成对抗网络(MPRGAN)模型.首先,在低分辨率层采用语义分离-融合生成模块,将文本特征在自注意力机制引导下分离为3个特征向量,并用这些特征向量分别生成特征图谱;然后,将特征图谱融合为低分辨率图谱,并采用mask图像作为语义约束以提高低分辨率生成器的稳定性;最后,在高分辨率层采用分辨率递进残差结构,同时结合词注意力机制和像素混洗来进一步改善生成图像的质量.实验结果表明,在数据集CUB-200-2011和Oxford-102上,所提模型的IS分别达到了4.70和3.53,与AttnGAN相比分别提高了7.80％和3.82％.MPRGAN模型能够在一定程度上解决结构生成不稳定的问题,同时其生成的图像也更接近真实图像.

关键词：文本生成图像、生成对抗网络、自注意力机制、残差结构、像素混洗

所属期刊栏目：40

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目;四川省科技计划项目;四川省教育厅项目;成都市产业集群协同创新项目

在线出版日期：2021-01-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：3612-3617