基于增量式类激活知识的蒸馏学习方法

摘要：

由于样本特征缺乏类别判定性且设备资源不足以支持样本类别结构学习,现有的知识蒸馏方法往往忽略了样本的类别知识蒸馏.针对此问题,本文提出一种增量式类激活知识蒸馏方法(Incremental Class Activation Knowledge Distillation,ICAKD).首先,利用类激活梯度图提取具备类别判定性的样本特征,并提出类激活图约束损失.然后,构建存储类别判定性特征的增量式记忆库,保存多个训练批次样本并迭代更新.最后,计算记忆库内每一类样本的类质中心,并构造类别结构关系,根据类激活图约束和类别结构关系实现类别知识蒸馏.在Cifar10、Cifar100、Tiny-ImageNet、ImageNet等数据集上进行对比实验,结果表明本文所提出的方法对比类别结构蒸馏方法(Category Structure Knowledge Distillation,CSKD)在准确率上有0.4%～1.21%的提升,说明了类别判定性特征和增量式方法对类别知识蒸馏起到促进作用.

关键词：知识蒸馏、类激活知识、增量式记忆库、类别结构

所属期刊栏目：40

分类号：TP391(计算技术、计算机技术)

资助基金：广东省交通运输厅科技项目2016-02-030

在线出版日期：2023-08-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：24-30,36