基于多模态融合的文本生成图像

摘要：

生成对抗网络在近几年发展迅速,文本语义和视觉语义之间的联系是文本生成图像的关键,使用生成对抗网络能够生成和文本相匹配的逼真图片.如今,传统的方法是只使用文本编码的方式预训练来对文本进行编码,但是这种算法并没有考虑到与相对应的图像进行语义匹配,而是将输入的文字单独编码,这就导致文本和图像存在语义上的差异性.因此,本文提出了一种基于多模态融合的文本生成图像网络(MLT-GAN).通过对齐文字信息和视觉信息,来实现图像和文本之间的交互,提高了生成图像的逼真性以及和输入文本的匹配性.实验结果,在Coco数据集和CUB数据集上,相较于DM-GAN模型,本文提出的MLT-GAN模型的FID分数降低了4.66％和5.16％,IS指标提高了1.41％和1.68％,证明了此方法的有效性.

关键词：生成对抗网络、文本描述、多模态融合、文本生成图像、语义匹配

所属期刊栏目：12

分类号：TP391(计算技术、计算机技术)

在线出版日期：2022-12-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：9-17