基于时序时空双流卷积的异常行为识别

摘要：

针对地铁站特定场合下,人体异常行为识别无法有效利用帧间运动时间维度信息,导致人体异常行为识别准确率不高的问题,提出一种深层次残差长短期双流网络结构.将RGB帧和连续光流帧作为双流网络的输入,分别利用ResNet34提取低层特征信息,空间流网络提取运动外观特征信息,时间流网络提取光流运动信息,然后将特征信息输入长短期记忆(LSTM)网络,有效学习空间外观和光流运动的帧间关联时间信息,并且通过多种加权融合策略加强模型识别效果.最后在地铁站异常行为数据集上验证提出的网络结构,并与原双流网络进行对比,改进后的网络识别准确率提高了4.7％,融合后的模型准确率提高了12.9％.实验结果表明,所提方法能够充分利用时间维度信息,可有效提高异常行为识别准确率,在昏暗环境下仍有较好的识别效果.

关键词：异常行为识别、双流卷积、长短期记忆网络、特征提取、特征融合、深度学习

所属期刊栏目：46

分类号：TN711⁃34;TP391(基本电子电路)

资助基金：新疆维吾尔自治区自然科学基金2019D01C079

在线出版日期：2023-02-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：81-87