基于交叉注意力机制的煤矿井下不安全行为识别

摘要：

对煤矿井下人员不安全行为进行实时视频监控及报警是提升安全生产水平的重要手段.煤矿井下环境复杂,监控视频质量不佳,导致常规基于图像特征或基于人体关键点特征的行为识别方法在煤矿井下应用受限.提出了一种基于交叉注意力机制的多特征融合行为识别模型,用于识别煤矿井下人员不安全行为.针对分段视频图像,采用3D ResNet101模型提取图像特征,采用openpose算法和ST-GCN(时空图卷积网络)提取人体关键点特征;采用交叉注意力机制对图像特征和人体关键点特征进行融合处理,并与经自注意力机制处理后的图像特征和人体关键点特征拼接,得到最终行为识别特征;识别特征经全连接层及归一化指数函数softmax处理后,得到行为识别结果.基于公共数据集HMDB51和UCF101、自建的煤矿井下视频数据集进行行为识别实验,结果表明:采用交叉注意力机制可使行为识别模型更有效地融合图像特征和人体关键点特征,大幅提高识别准确率;与 目前应用最广泛的行为识别模型SlowFast相比,基于交叉注意力机制的多特征融合行为识别模型在HMDB51和UCF101数据集上的识别准确率分别提高1.8％,0.9％,在自建数据集上的识别准确率提高6.7％,验证了基于交叉注意力机制的多特征融合行为识别模型更适用于煤矿井下复杂环境中人员不安全行为识别.

关键词：井下人员行为识别、不安全行为识别、图像特征、人体关键点特征、多特征融合、自注意力机制、图注意力机制、交叉注意力机制

所属期刊栏目：48

分类号：TD67(矿山电工)

资助基金：国家能源集团科技创新项目GJNY-20-159

在线出版日期：2022-11-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：48-54