面向分类网络的视觉语义解释模型

摘要：

深度学习的可解释性对推动其在军事场景中应用至关重要.当前主流方法使用类激活图的方式可视化最后一层卷积特征,然而对于网络根据该特征进行分类解释比较模糊.针对此问题,设计一种面向分类网络的视觉语义解释模型.综合考虑前向传播与反向传播,提出CGNIS算法获取对分类结果起重要作用的神经元,并将其映射到原图,得到更加细化的视觉特征.提出分类网络IRENet,在VGG16中间层添加SIRM和ECA对视觉特征进行识别,更加客观地提取视觉特征中包含的语义特征,并结合视觉特征、语义特征、重要神经元分数信息生成描述模型分类过程的解释性语句.在ImageNet2012数据集上提取10类图像进行实验,结果表明,删除CGNIS算法得到的某一类重要神经元后,对应类的分类准确率下降3%以上,在语义特征提取任务上,IRENet的F1值、准确率、精确率和召回率4项指标较ResNet101等分类网络提升2%以上.此外,利用CGNIS、IRENet对飞机类别进行实验,可生成模型对其分类过程的解释性语句.

关键词：分类网络、可解释性、类激活图、重要神经元、语义信息

所属期刊栏目：49

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;北京市自然科学基金

在线出版日期：2023-11-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：220-230