基于交互关系分组建模融合的组群行为识别算法

摘要：

组群成员间的交互关系建模是组群行为识别的核心技术.本文为解决复杂场景下组群关系繁琐、关系推理时复杂度高并存在信息冗余等问题,提出一种交互关系分组推理的模型.首先,利用CNN网络和RoIAlign提取视频帧中的场景信息和个人信息作为初始特征,利用个人空间坐标对人群进行二分组(例如:在Volleyball数据集中,利用参与者的bounding boxes的X坐标信息进行排序,然后为每个人建立序号ID,并从左到右将12名成员分为2组);其次,将划分后的2个局部分组以及全局场景组群,分别利用图卷积网络(Graph Convolutional Network,GCN)进行组交互关系推理,并确定各自组内的关键人物;然后,以全局关系特征作为真实值,将二分组的局部关系特征合并作为预测值,构建两者之间的交叉熵损失函数反馈优化上一级分组交互关系GCN网络,旨在确保2个分组的关键人物与全局关键人物匹配成功.再以全局交互关系中的关键人物信息为指导,分别与2个分组的关键人物进行匹配,将匹配成功后2个小组中的关键人物作为目标节点,建立组间关系图,并经GCN推理得到组间的关系特征;最后,初始特征分别与组间和全局交互关系特征融合得到2个群组行为支路,经过决策融合得到最终的识别结果.实验表明,在Volleyball数据集和NBA数据集上分别取得93.1％和48.1％的准确率.

关键词：分组交互关系融合;关键人物匹配;决策融合;组群行为识别

分类号：TP301.6(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金

在线出版日期：2022-03-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：1-9