基于多域VQGAN的文本生成国画方法研究

摘要：

随着生成式对抗网络的出现,?从文本描述合成图像最近成为一个活跃的研究领域.?然而,?目前文本描述往往使用英文,?生成的对象也大多是人脸和花鸟等,?专门针对中文和中国画的研究较少.?同时,?文本生成图像任务往往需要大量标注好的图像文本对,?制作数据集的代价昂贵.?随着多模态预训练的出现与推进,?使得能够以一种优化的方式来指导生成对抗网络的生成过程,?大大减少了对数据集和计算资源的需求.?提出一种多域VQGAN模型来同时生成多种域的中国画,?并利用多模态预训练模型WenLan来计算生成图像和文本描述之间的距离损失,?通过优化输入多域VQGAN的隐空间变量来达到图片与文本语义一致的效果.?对模型进行了消融实验,?详细比较了不同结构的多域VQGAN的FID及R-precisoin指标,?并进行了用户调查研究.?结果表示,?使用完整的多域VQGAN模型在图像质量和文本图像语义一致性上均超过原VQGAN模型的生成结果.

关键词：文本生成图像、多域生成、中国画生成

所属期刊栏目：34

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;北京高等学校卓越青年科学家计划

在线出版日期：2023-05-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共18页

页码：2116-2133