分布式在线条件梯度优化算法

摘要：

针对现有分布式在线优化算法所面临的高维约束难以计算的问题,提出一种分布式在线条件梯度优化算法(Distributed Online Conditional Gradient Optimization Algorithm,DOCG).首先,通过多个体网络节点间的相互协作进行数据采集,并通过共享采集的信息更新局部估计,同时引入反映环境变化的局部即时损失函数.然后,该算法利用历史梯度信息进行加权平均,提出一种新的梯度估计方案,其用线性优化步骤替代投影步骤,避免了投影运算在高维约束时难以计算的问题.最后,通过分析表征在线估计性能的Regret界,证明了所提DOCG算法的收敛性.利用低秩矩阵填充问题进行仿真验证,结果表明,相比于现有分布式在线梯度下降法(DOGD),所提DOCG算法具有更快的收敛速度.

关键词：条件梯度、无投影、分布式网络、在线学习、Regret界

所属期刊栏目：46

分类号：TP301.6(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61472003;高校学科专业拔尖人才学术资助重点项目gxbjZD2016049;安徽省学术和技术带头人及后备人选资助项目2016H076;安徽省教育厅自然科学基金重点项目KJ2017A087

在线出版日期：2019-05-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：332-337