基于隐式随机梯度下降优化的联邦学习

摘要：

联邦学习是一种分布式机器学习范式,中央服务器通过协作大量远程设备训练一个最优的全局模型.目前联邦学习主要存在系统异构性和数据异构性这两个关键挑战.本文主要针对异构性导致的全局模型收敛慢甚至无法收敛的问题,提出基于隐式随机梯度下降优化的联邦学习算法.与传统联邦学习更新方式不同,本文利用本地上传的模型参数近似求出平均全局梯度,同时避免求解一阶导数,通过梯度下降来更新全局模型参数,使全局模型能够在较少的通信轮数下达到更快更稳定的收敛结果.在实验中,模拟了不同等级的异构环境,本文提出的算法比FedProx和FedAvg均表现出更快更稳定的收敛结果.在相同收敛结果的前提下,本文的方法在高度异构的合成数据集上比FedProx通信轮数减少近50％,显著提升了联邦学习的稳定性和鲁棒性.

关键词：联邦学习、分布式机器学习、中央服务器、全局模型、隐式随机梯度下降、数据异构、系统异构、优化算法、快速收敛

所属期刊栏目：17

分类号：TP8(远动技术)

资助基金：国家自然科学基金;国家自然科学基金;科技创新新一代人工智能重大项目

在线出版日期：2022-06-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：488-495