基于知识蒸馏的特征精炼相互学习方法

摘要：

为解决相互学习中两个小型学生网络在训练过程出现图像局部信息丢失,造成单个学生网络接收精炼特征图不完整的问题,提出基于知识蒸馏的特征精炼相互学习方法.通过对每个学生网络配备辅助网络,提供精炼特征映射和软标签,保留特征的局部信息,为学生网络之间相互学习传递精炼提取知识,提高视觉任务适用性.实验结果表明,在细粒度视觉分类任务公开数据集和基准数据集下的准确率与深度相互学习和自我知识蒸馏方法相比均有明显提升.

关键词：知识蒸馏、相互学习、特征精炼、学生网络、辅助网络、自我蒸馏、视觉任务

所属期刊栏目：44

分类号：TP398.1(计算技术、计算机技术)

资助基金：国家自然科学基金11905153

在线出版日期：2023-11-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：2700-2706