时空域融合的骨架动作识别与交互研究

摘要：

在人体骨架结构动作识别方法中,很多研究工作在提取骨架结构上的空间信息和运动信息后进行融合,没有对具有复杂时空关系的人体动作进行高效表达.本文提出了基于姿态运动时空域融合的图卷积网络模型(PM-STFGCN).对于在时域上存在大量的干扰信息,定义了一种基于局部姿态运动的时域关注度模块(LPM-TAM),用于抑制时域上的干扰并学习运动姿态的表征.设计了基于姿态运动的时空域融合模块(PM-STF),融合时域运动和空域姿态特征并进行自适应特征增强.通过实验验证,本文提出的方法是有效性的,与其他方法相比,在识别效果上具有很好的竞争力.设计的人体动作交互系统,验证了在实时性和准确率上优于语音交互系统.

关键词：动作识别、时空关系、姿态运动、时空域融合、图卷积神经网络、时域关注度、自适应特征增强、人体动作交互

所属期刊栏目：15

分类号：TP312(计算技术、计算机技术)

资助基金：国家自然科学基金项目;浙江省自然科学基金项目

在线出版日期：2020-10-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：601-608