最优知识传递宽残差网络输电线路螺栓缺陷图像分类
目的 输电线路螺栓图像具有分辨率低和视觉信息较差的特点,针对螺栓缺陷图像分类时教师网络(大模型)参数量大、学生网络(小模型)分类精度低的问题,提出了一种最优知识传递宽残差网络输电线路螺栓缺陷图像分类方法,来弥补使用大小模型进行分类任务的局限性.方法 首先改变大模型宽度,即拓宽网络特征表达维度来增加向小模型传递的螺栓缺陷知识和简化小模型结构至3个残差块;然后为了选出传递螺栓缺陷知识性能最优的大模型,提出知识偏差的概念来可视化大模型向小模型螺栓缺陷知识传递的程度,综合分析不同宽度大模型利用知识蒸馏算法与注意力转移算法分别指导小模型训练后的分类准确率,并用知识偏差来确定最优知识传递模型;最后将最优知识传递模型利用知识蒸馏算法与注意力转移算法相结合指导小模型训练,尽可能提升小模型的螺栓缺陷分类性能.结果 在自建螺栓缺陷图像分类数据集上进行了验证,结果表明宽度为5的大模型向小模型传递螺栓缺陷知识性能最优,使小模型的螺栓缺陷分类准确率提高了5.56％,小模型与最优大模型的分类准确率只差2.17％,知识偏差为0.28,且小模型的参数量仅为大模型参数量的0.56％.结论 本文提出的最优知识传递宽残差网络输电线路螺栓缺陷图像分类方法,弥补了大小模型螺栓缺陷图像分类的局限性,实现了精度与资源消耗的平衡.
螺栓缺陷分类;最优知识传递;知识偏差;知识蒸馏;注意力转移
26
TN911.73
国家自然科学基金项目;北京市自然科学基金项目;河北省自然科学基金项目;中央高校基本科研业务费专项资金资助;模式识别国家重点实验室开放课题基金项目
2021-11-24（万方平台首次上网日期，不代表论文的发表时间）
共11页
2571-2581
