基于AdaGrad+的自适应Heavy-Ball动量法及其最优个体收敛性

摘要：

自适应策略与动量法是提升优化算法性能的常用方法.目前自适应梯度方法大多采用AdaGrad型策略,但该策略在约束优化中效果不佳,为此,研究人员提出了更适用于处理约束问题的AdaGrad+方法,但其与SGD一样在非光滑凸情形下未达到最优个体收敛速率,结合NAG动量也并未达到预期的加速效果.针对上述问题,文中将AdaGrad+调整步长的策略与Heavy-Ball型动量法加速收敛的优点相结合,提出了一种基于AdaGrad+的自适应动量法.通过设置加权动量项、巧妙选取时变参数和灵活处理自适应矩阵,证明了该方法对于非光滑一般凸问题具有最优个体收敛速率.最后在l∞∞范数约束下,通过求解典型的hinge损失函数优化问题验证了理论分析的正确性,通过深度卷积神经网络训练实验验证了该方法在实际应用中也具有良好性能.

关键词：凸优化、自适应策略、AdaGrad+、Heavy-Ball动量方法、收敛速率

所属期刊栏目：50

分类号：TP181(自动化基础理论)

在线出版日期：2023-11-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：220-226