基于深度学习的交互笔关键点估计研究

摘要：

虚拟现实技术应用领域广泛,但现有交互方式不能满足使用者精细化操作的需求.通过交互笔可实现三维空间的精确输入,提升生产力效率.设计基于单目RGB图片的两阶段交互笔关键点估计模型PKPD-Net.通过CBAM-SHN网络得到二维关键点信息,利用笔的二维姿态特征进一步回归出关键点三维位置信息.该模型使用CBAM模块改进融合方式、基于Offset的关键点亚像素定位、辅助手部关键点预测等方法,实现高精度的笔上关键点三维估计,为通过交互笔进行精细化操作提供准确的位置信息.在大规模数据集上进行实验和验证,结果表明,相较于Minimal-hand与HOPE-Net模型,该模型预测关键点的mean_EPE分别降低0.882和0.710 mm,PSF@4分别提升31.38和32.31个百分点.最后,为探索产业级应用,结合PKPD-Net进行应用开发,通过时序关联实现操作轨迹的复原.

关键词：虚拟现实、精细操作、深度学习、关键点估计、特征融合

所属期刊栏目：49

分类号：TP391(计算技术、计算机技术)

资助基金：中国科学院青年创新促进会项目E1290301

在线出版日期：2023-10-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：22-30