10.19734/j.issn.1001-3695.2022.07.0346
基于选择性融合及关系推理的群组行为识别
为解决如何选取更具辨别力的多模态人物特征,以及在进行人物关系推理时如何更加关注特定于个人的时空交互建模的问题,提出了基于选择性特征融合的动态关系推理算法框架(SFDRI).通过设计选择性特征融合模块,根据不同模态特征的随机函数概率分布得分,添加重采样方法以选取最相关的特征表示实现多模态特征的选择融合,并采用动态关系推理模块实现针对个人的复杂时空推理,通过在时空图上初始化交互域,利用点积计算预测人物交互关系矩阵,并同时添加每个人物特征的动态偏移以形成特定于个人的交互图,通过迭代更新交互图上的特征进行最终的群组行为的识别.结合对比实验,算法在公开的排球数据集(volleyball dataset,VD)和集体活动数据集(collective activity dataset,CAD)上分别提升了 1.2%和1.5%的平均识别精度,证明了算法框架的有效性.
群组行为识别、多模态融合、交互关系推理、行为识别
40
TP301.6(计算技术、计算机技术)
国家自然科学基金61672305
2023-03-16(万方平台首次上网日期,不代表论文的发表时间)
共6页
914-918,924