10.19678/j.issn.1000-3428.0064011
基于多分辨率自蒸馏网络的小样本图像分类
因图像数据具有大量的空间冗余信息,传统的多分辨率网络在处理图像数据时会产生较高的计算成本.而自蒸馏学习方法能够在精度与计算成本之间实现动态平衡,使模型在不增加网络深度和宽度的基础上,有效地提高模型精度.提出一种多分辨率自蒸馏网络(MRSDN),用于解决小样本学习中输入样本的空间冗余问题.从原始网络中分出一个浅层子网络以识别图像的低分辨率表示,并且保持该原始网络识别高分辨率图像特征的能力.同时,在多分辨率网络中引入改进的全局注意力机制,以减少信息损失且放大全局交互表示.利用自蒸馏学习方法将网络中更深层的知识压缩到浅层子网络中,以提升浅层子网络的泛化能力.在此基础上,将低分辨率网络中的粗粒度特征融合到高分辨率网络中,从而提高模型提取图像特征的能力.实验结果表明,在Mini-ImageNet数据集上MRSDN网络对5-way 1-shot与5-way 5-shot任务的准确率分别为56.34%和74.35%,在Tiered-ImageNet数据集上对5-way 1-shot与5-way 5-shot任务的准确率分别为59.56%和78.96%,能有效缓解高分辨率图像输入时的空间冗余问题,提高小样本图像分类的准确率.
自蒸馏学习、小样本学习、多分辨率网络、空间冗余、全局注意力
48
TP391(计算技术、计算机技术)
国家自然科学基金;国家自然科学基金;国家自然科学基金;江苏省六大人才高峰高层次人才项目;苏州市科技计划项目
2022-12-15(万方平台首次上网日期,不代表论文的发表时间)
共9页
232-240