基于AdaBelief的Heavy-Ball动量方法

摘要：

同时使用动量和自适应步长技巧的自适应矩估计(Adaptive Moment Estimation,Adam)型算法广泛应用于深度学习中.针对此方法不能同时在理论和实验上达到最优这一问题,文中结合AdaBelief灵活调整步长提高实验性能的技巧,以及仅采用指数移动平均(Exponential Moving Average,EMA)策略调整步长的Heavy-Ball动量方法加速收敛的优点,提出基于AdaBelief的Heavy-Ball动量方法.借鉴AdaBelief和Heavy-Ball动量方法收敛性分析的技巧,巧妙选取时变步长、动量系数,并利用添加动量项和自适应矩阵的方法,证明文中方法对于非光滑一般凸优化问题具有最优的个体收敛速率.最后,在凸优化问题和深度神经网络上的实验验证理论分析的正确性,并且证实文中方法可在理论上达到最优收敛性的同时提高性能.

关键词：AdaBelief;Heavy-Ball动量方法;个体收敛速率;深度神经网络

所属期刊栏目：35

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金No.62076252

在线出版日期：2022-03-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：106-115