基于条件增强和注意力机制的文本生成图像方法

摘要：

针对现有文本生成图像模型存在训练效率低下、生成图像分辨率较低以及图像不真实等问题,本文提出一种基于条件增强和注意力机制的深度融合生成对抗网络模型.该模型由文本处理网络和生成对抗网络两部分组成.文本处理网络采用双向长短期记忆网络对文本进行编码,通过条件增强模块增加文本词语对应的特征数据,丰富文本语义特征.在生成对抗网络中,文本特征与视觉特征进行融合,通过使用注意力机制从通道和空间两个维度对输出特征进行调整,使生成网络关注文本描述的重要特征并抑制不必要特征,最终得到生成图像.通过判别器对生成图像与真实图像进行判别,并设计对抗损失函数对网络模型进行优化.在MSCOCO和CUB birds 200两个数据集上进行训练与测试,实验结果表明,与其他模型相比该模型具有明显优势.

关键词：文本生成图像、深度融合、条件增强、注意力机制、多模态特征融合

所属期刊栏目：37

分类号：TP391.4(计算技术、计算机技术)

资助基金：山西省研究生创新资助项目;山西省高等学校教学改革创新资助项目

在线出版日期：2023-04-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：112-119