基于姿势引导下的虚拟试穿网络

摘要：

针对现有的基于姿势引导下的虚拟试穿方法存在着服装纹理过度变形、生成的图像出现遮挡等问题,提出了一种基于姿势引导下的虚拟试穿网络(pose-guided virtual try-on network,PG-VTON).首先,使用基于U-Net的网络对人物图像进行姿势转换,生成目标姿势下的人物解析图,引入信息增强模块提高解析图的准确性,减少试穿中的错误遮挡;然后,通过薄板样条变换(thin plate spline,TPS)方法将目标服装变形为与人物身体相贴合的形状,引入网格变形约束项来保留目标服装的纹理和细节特征;最后,将解析图和变形服装结合起来,生成最终的虚拟试穿图像.实验结果表明,该方法不仅比Downto(down to the last detail)网络试穿图像的平均结构相似性(structural similarity,SSIM)提高了 2.83％,初始得分(inception score,IS)提高了 6.74％,与其他最新的虚拟试穿方法相比减少了试穿过程中的错误遮挡,能生成更加清晰真实的结果.

关键词：虚拟试穿、薄板样条变换、信息增强模块、网格变形约束项

所属期刊栏目：30

分类号：TP389.1(计算技术、计算机技术)

在线出版日期：2024-08-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：491-502