梯度有偏随机DA优化方法的个体收敛界分析

摘要：

样本不满足独立同分布会使梯度估计在迭代过程中存在偏差,且最优的个体收敛界在噪声的干扰下无法确定.为此,提出一种线性插值随机对偶平均(DA)优化方法.给出DA方法收敛性的证明,在梯度估计有偏的基础上,求解得到一种线性插值DA随机优化方法不产生累积偏差的个体收敛界,以保证正则化损失函数结构下优化方法的个体收敛精度.实验结果表明,与随机加速方法相比,该方法具有较快的个体收敛速率与较高的收敛精度.

关键词：对偶平均方法、随机优化、个体收敛性、梯度有偏估计、最优收敛速率

所属期刊栏目：45

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金61673394

在线出版日期：2019-11-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：203-207,214