多聚点子空间下的时空信息融合及其在行为识别中的应用

摘要：

基于深度序列的人体行为识别,一般通过提取特征图来提高识别精度,但这类特征图通常存在时序信息缺失的问题.针对上述问题,本文提出了一种新的深度图序列表示方式,即深度时空图(Depth space time maps,DSTM).DSTM降低了特征图的冗余度,弥补了时序信息缺失的问题.本文通过融合空间信息占优的深度运动图(Depth motion maps,DMM)与时序信息占优的DSTM,进行高精度的人体行为研究,并提出了多聚点子空间学习(Multi-center subspace learning,MCSL)的多模态数据融合算法.该算法为各类数据构建多个投影聚点,以此增大样本的类间距离,降低了投影目标区域维度.本文在MSR-Action3D数据集和UTD-MHAD数据集上进行人体行为识别.最后实验结果表明,本文方法相较于现有人体行为识别方法有着较高的识别率.

关键词：行为识别、信息融合、深度时空图、多聚点子空间学习

所属期刊栏目：48

分类号：TP391.4;TN919.81;TM407

资助基金：国家自然科学基金;国家自然科学基金;江苏省物联网移动互联技术工程重点实验室开放课题;浙江省公益技术研究社会发展项目

在线出版日期：2022-12-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：2823-2835