一种组合型的深度学习模型学习率策略

摘要：

一个设计良好的学习率策略可以显著提高深度学习模型的收敛速度，减少模型的训练时间.本文针对AdaGrad 和AdaDec 学习策略只对模型所有参数提供单一学习率方式的问题，根据模型参数的特点，提出了一种组合型学习策略： AdaMix.该策略为连接权重设计了一个仅与当前梯度有关的学习率，为偏置设计使用了幂指数型学习率.利用深度学习模型Autoencoder 对图像数据库MNIST 进行重构，以模型反向微调过程中测试阶段的重构误差作为评价指标，验证几种学习策略对模型收敛性的影响.实验结果表明， AdaMix 比AdaGrad 和AdaDec 的重构误差小并且计算量也低，具有更快的收敛速度.

关键词：深度学习、学习率、组合学习策略、图像重构

所属期刊栏目：42

分类号：N94;TP1

资助基金：国家自然科学基金61271143资助Supported by National Natural Science Foundation of China 61271143

在线出版日期：2016-07-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：953-958