基于多模态多级特征聚合网络的光场显著性目标检测

摘要：

现有基于深度学习的显著性检测算法主要针对二维RGB图像设计,未能利用场景图像的三维视觉信息,而当前光场显著性检测方法则多数基于手工设计,特征表示能力不足,导致上述方法在各种挑战性自然场景图像上的检测效果不理想.提出一种基于卷积神经网络的多模态多级特征精炼与融合网络算法,利用光场图像丰富的视觉信息,实现面向四维光场图像的精准显著性检测.为充分挖掘三维视觉信息,设计2个并行的子网络分别处理全聚焦图像和深度图像.在此基础上,构建跨模态特征聚合模块实现对全聚焦图像、焦堆栈序列和深度图3个模态的跨模态多级视觉特征聚合,以更有效地突出场景中的显著性目标对象.在DUTLF-FS和HFUT-Lytro光场基准数据集上进行实验对比,结果表明,该算法在5个权威评估度量指标上均优于MOLF、AFNet、DMRA等主流显著性目标检测算法.

关键词：深度图、特征融合、光场、聚合网络、显著性目标检测

所属期刊栏目：48

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;贵州省自然科学基金;贵州省自然科学基金;贵州师范大学博士科研启动项目;贵州省大学生创新创业训练计划项目;贵州师范大学大学生科研训练计划项目

在线出版日期：2022-09-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：227-233,240