基于拓扑一致性对抗互学习的知识蒸馏
针对基于互学习的知识蒸馏方法中存在模型只关注教师网络和学生网络的分布差异,而没有考虑其他的约束条件,只关注了结果导向的监督,而缺少过程导向监督的不足,提出了一种拓扑一致性指导的对抗互学习知识蒸馏方法(To-pology-guided adversarial deep mutual learning,TADML).该方法将教师网络和学生网络同时训练,网络之间相互指导学习,不仅采用网络输出的类分布之间的差异,还设计了网络中间特征的拓扑性差异度量.训练过程采用对抗训练,进一步提高教师网络和学生网络的判别性.在分类数据集CIFAR10、CIFAR100和Tiny-ImageNet及行人重识别数据集Mar-ket1501上的实验结果表明了TADML的有效性,TADML取得了同类模型压缩方法中最好的效果.
互学习、生成对抗网络、特征优化、知识蒸馏
49
TP391;G43;R338.1
国家自然科学基金;国家自然科学基金;国家自然科学基金;国家自然科学基金;国家自然科学基金;上海市人工智能科技支撑专项
2023-01-16（万方平台首次上网日期，不代表论文的发表时间）
共9页
102-110
