基于阿当姆斯捷径连接的深度神经网络模型压缩方法

摘要：

深度神经网络已经在各类计算机视觉任务中取得了很大的成功,可网络结构设计仍缺乏指导性的准则.大量的理论和经验证据表明,神经网络的深度是它们成功的关键,而深度神经网络的可训练性仍是待解决的问题.将微分方程数值解法——阿当姆斯(Adams)法用于深度神经网络的权重学习,提出一种基于阿当姆斯法的捷径连接(shortcut connection)方式,可提高网络后期的学习精度,压缩模型的规模,使模型变得更有效.尤其对网络层数较少的深度神经网络的可训练性优化效果更明显.以经典的ResNet为例,比较了使用基于Adams法的捷径连接方式的Adams-ResNet与源模型在Cifar10上的性能表现,所提方法在提高识别正确率的同时将源模型的参数量压缩至一半.

关键词：深度神经网络;微分方程数值解法;阿当姆斯法;捷径连接

所属期刊栏目：43

分类号：TP183(自动化基础理论)

资助基金：国家自然科学基金;云南省教育厅基金

在线出版日期：2021-11-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：2043-2048