融合生物力学约束与多模态数据的手部重建

摘要：

针对目前单目手部重建设备成本高、响应速度迟缓等问题,提出一种利用单目摄像机获取手部形状和姿态进行手部三维重建的方法.该方法采用基于深度学习的架构,使用带有 2D和 3D注释的图像数据和手部动作捕捉数据进行训练.首先,通过一个关节检测模块(3DHandNet)和一个逆运动学模块(IRNet)准确地回归 3D关节位置并将其映射到关节旋转中.其次,通过引入生物力学约束以达到高质量的网格图像对齐以提供实时预测.最后,将得到的预测向量与关节旋转表示输入到手部网格模板来拟合手部形状.仅与回归 3D关节位置的方法相比其更适用于计算机视觉和图形学领域的应用.在基准数据集上的实验结果表明,该方法达到了实时的运行性能(60 fps)和较高的重建精度,在姿态估计精度和手部图像对齐方面均优于目前的方法.

关键词：手部三维重建、生物力学约束、多模态数据、手部关节检测模块、逆运动学模块

所属期刊栏目：44

分类号：TP391(计算技术、计算机技术)

在线出版日期：2023-08-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：794-800