基于长短期存储的聚合增强型煤矸石视频识别模型

摘要：

采用煤矸石图像识别技术进行煤矸石识别会错过一些关键目标的识别.视频目标识别模型比图像目标识别模型更贴近煤矸石识别分选场景需求,对视频数据中的煤矸石特征可以进行更广泛、更有深度的提取.但目前煤矸石视频目标识别技术未考虑视频帧重复性、帧间相似性、关键帧偶然性对模型性能的影响.针对上述问题,提出了一种基于长短期存储(LSS)的聚合增强型煤矸石视频识别模型.首先,采用关键帧与非关键帧对海量信息进行初筛.对煤矸石视频帧序列进行多帧聚合,通过时空关系网络(TRN)将关键帧与相邻帧特征信息相聚合,建立长期视频帧和短期视频帧,在不丢失关键特征信息的同时减少模型计算量.然后,采用语义相似性权重、可学习权重和感兴趣区域(ROI)相似性权重融合的注意力机制,对长期视频帧、短期视频帧与关键帧之间的特征进行权重再分配.最后,设计用于存储增强的LSS模块,对长期视频帧与短期视频帧进行有效特征存储,并在关键帧识别时加以融合,增强关键帧特征的表征能力,以实现煤矸石识别.基于枣泉选煤厂自建煤矸石视频数据集对该模型进行实验验证,结果表明:相较于记忆增强全局-局部聚合(MEGA)网络、基于流引导的特征聚合视频目标检测(FGFA)、关系蒸馏网络(RDN)、视频识别的深度特征流(DFF)模型,基于LSS的聚合增强型煤矸石视频识别模型的平均精度均值优于其他模型,为 77.12％;模型视频目标运动速度与识别精度呈负相关,基于LSS的聚合增强型煤矸石视频识别模型在慢速运动的目标检测上识别精度最高达83.82％.

关键词：煤矸石视频识别、视频帧多帧聚合、关键帧、非关键帧、注意力机制、时空关系网络、长短期存储

所属期刊栏目：49

分类号：TD67(矿山电工)

资助基金：陕西省秦创原科学家+工程师队伍建设项目2022KXJ-38

在线出版日期：2023-04-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：39-44,62