跨信道注意力权重最大区域掩盖的正则化方法

摘要：

针对Dropout的流动性和随机性可能引起欠拟合或过拟合的问题,提出跨信道计算注意力权重并掩盖注意力权重最大区域的正则化方法(MARDrop).设计跨信道注意力权重提取机制,提取所有特征图的注意力权重,并筛选出注意力权重较大的部分作为特征判别单元;根据特征判别单元周围区域的注意力权重变化确定出注意力权重最大区域,并将其掩盖即对应区域置为0,其余区域均置为1;将取值为1的注意力权重区域还原为特征图,完成正则化处理.实验表明:M ARDrop具有较强的灵活性,结合不同优化方法用于Model2模型后,在CIFAR-10上的分类精度比基础模型提高了19.55％;MARDrop具有较强的泛化能力,能灵活用于不同模型,用于VGG16和Res-Net18模型后,在CIFAR-10上的分类错误率比基础模型分别降低了10.05％ 和9.96％,用于Mo-blieNetV3S和MoblieNetV3L后,在ImageNet-C9上的分类错误率比基础模型分别降低了14.67％ 和96.90％.MARDrop利用一维卷积跨信道交互计算注意力权重,能有效降低提取的复杂度;M ARDrop通过准确掩盖造成过拟合的特征区域,降低了模型对少数特征的依赖性,进而增加了图像分类的准确率.

关键词：正则化;跨信道交互;图像分类;Dropout

所属期刊栏目：56

分类号：TP391(计算技术、计算机技术)

资助基金：安徽省自然科学基金面上项目;安徽高校协同创新项目;安徽高校协同创新项目

在线出版日期：2022-03-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：45-53