ProMIS:概率图采样图像增广驱动的弱监督物体检测方法

摘要：

目的 弱监督物体检测是一种仅利用图像类别标签训练物体检测器的技术.近年来弱监督物体检测器的精度不断提高,但在如何提升检出物体的完整性、如何从多个同类物体中区分出单一个体的问题上仍面临极大挑战.围绕上述问题,提出了基于物体布局后验概率图进行多物体图像增广的弱监督物体检测方法ProMIS(probability-based multi-object image synthesis).方法 将检出物体存储到物体候选池,并将候选池中的物体插入到输入图像中,构造带有伪边界框标注的增广图像,进而利用增广后的图像训练弱监督物体检测器.该方法包含图像增广与弱监督物体检测两个相互作用的模块.图像增广模块将候选池中的物体插入一幅输入图像,该过程通过后验概率的估计与采样对插入物体的类别、位置和尺度进行约束,以保证增广图像的合理性;弱监督物体检测模块利用增广后的多物体图像、对应的类别标签、物体伪边界框标签训练物体检测器,并将原始输入图像上检到的高置信度物体储存到物体候选池中.训练过程中,为了避免过拟合,本文在基线算法的基础上增加一个并行的检测分支,即基于增广边界框的检测分支,该分支利用增广得到的伪边界框标注进行训练,原有基线算法的检测分支仍使用图像标签进行训练.测试时,本文方法仅使用基于增广边界框的检测分支产生检测结果.本文提出的增广策略和检测器的分支结构在不同弱监督物体检测器上均适用.结果 在Pascal VOC(pattern analysis,statistical modeling and computational learning visual object classes)2007和Pascal VOC 2012数据集上,将该方法嵌入到多种现有的弱监督物体检测器中,平均精度均值(mean average precision,mAP)平均获得了2.9％和4.2％的提升.结论 本文证明了采用弱监督物体检测伪边界框标签生成的增广图像包含丰富信息,能够辅助弱监督检测器学习物体部件、整体以及多物体簇之间的区别.

关键词：弱监督物体检测、多物体数据增广、图像融合、概率图采样、后验概率估计

所属期刊栏目：28

分类号：TP391.6(计算技术、计算机技术)

资助基金：国家重点研发计划;国家自然科学基金;国家自然科学基金;北京市科技新星项目

在线出版日期：2023-08-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共17页

页码：2037-2053