骨架引导的多模态视频异常行为检测方法

摘要：

视频异常行为检测是智能视频监控分析的一项重要且具有挑战性的任务,旨在自动发现异常事件.针对只采用单骨架模态导致部分相似运动模式的行为难以区分和缺乏时间全局信息的问题,提出骨架引导的多模态异常行为检测方法.为了充分利用 RGB视频模态和骨架模态的优势进行相似行为下的异常行为检测,将从骨架模态中提取的动作行为特征作为引导,使用新的空间嵌入来加强 RGB 视频和骨架姿态之间的对应关系.同时使用时间自注意力提取相同节点的帧间关系,以捕获时间的全局信息,有效提取具有区分性的异常行为特征.在两个大型公开标准数据集上的实验结果表明所提方法能够有效加强骨架引导的多模态特征在空间和模态上的对应关系,并捕获时空图卷积缺乏的时间全局信息,使运动模式相似的异常行为实现更准确检测.

关键词：视频异常行为检测、骨架、多模态融合、时空自注意力增强图卷积、空间嵌入

所属期刊栏目：56

分类号：TP391.4(计算技术、计算机技术)

资助基金：国家重点研发计划2018YFC0824402

在线出版日期：2023-12-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：16-24