基于姿势引导与属性分解的人物图像生成

摘要：

生成姿势受控的人物图像要求在变换姿势条件下生成与源人物图像对应的新图像,同时新图像中人物的上衣、裤子、发型等属性需要与源人物保持一致.由于人物纹理编码和人体姿势关键点编码难以直接融合,导致生成图像中一些关键人物属性与源图像的一致性较差,为此,建立一种循环一致性约束下的双流生成网络模型.在训练阶段,该模型在纹理编码器的输入中增加源人物的姿势条件信息,从而缩小分解组件编码的搜索空间,提高人物生成的可控粒度.设计一个融合模块将源人物的姿势信息与每一个分解组件样式码相融合以进行生成和对抗训练,同时,增加循环一致性约束,使得生成图像与隐空间更为匹配.在测试阶段,通过网络对源人物的纹理编码信息与目标的姿势编码信息分别进行编码,经过信息融合和解码获得姿势变换后的人物图像.使用DeepFashion数据集进行定性和定量测试,结果表明,该模型的峰值信噪比、感知评分、结构相似性指标分别达到31.409 dB、3.369、0.768,模型中添加的姿势引导条件和循环一致性约束能够简化属性分解的概率生成表达,使得人物生成图像的纹理更为准确,符合人类视觉感知特性.

关键词：人物图像生成、姿势变换、生成对抗网络、人体关键点估计、人体语义分割、循环一致性

所属期刊栏目：48

分类号：TP391.4(计算技术、计算机技术)

资助基金：国家自然科学基金61772237

在线出版日期：2022-11-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：224-230,239