基于光照感知权重融合的多模态行人检测算法

摘要：

针对现有利用可见光与红外模态融合的行人目标检测算法在全天候环境下漏检率高的问题,提出一种基于光照感知权重融合的多模态行人目标检测算法.首先,使用引入高效通道注意力(ECA)机制模块的ResNet50作为特征提取网络,分别提取两个模态的特征;其次,对现有光照加权感知融合策略进行改进,通过设计一种新的光照感知加权融合机制获取可见光与红外模态的对应权重,并进行加权融合得到融合特征,从而降低算法的检测漏检率;最后,将从特征网络最后一层提取的多模态特征和生成的融合特征共同送入到检测网络,完成行人目标检测.实验结果表明,所提算法在KAIST数据集下具有良好的检测性能,在全天候下对行人目标的检测漏检率为11.16%.

关键词：多模态图像融合、注意力机制、光照感知权重融合、行人检测

所属期刊栏目：60

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家自然科学基金;陕西省科技厅重点研发计划;西安工业大学校长基金面上培育项目;西安市智能兵器重点实验室;陕西高校青年创新团队项目

在线出版日期：2023-09-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：137-147