面向异构数据的自适应个性化联邦学习——一种基于参数分解和持续学习的方法

摘要：

联邦学习允许资源受限的边缘计算设备协作训练机器学习模型,同时能够保证数据不离开本地设备,但也面临着异构数据下全局模型收敛缓慢甚至偏离最优解的挑战.为解决上述问题,本文提出一种自适应个性化联邦学习(adaptive personalized federated learning,APFL)算法,在同时包括空间和时间维度的多任务学习框架下,考虑面向异构数据的联邦优化问题.首先,APFL采用参数分解策略,将待训练模型参数分解为全局共享参数和客户端特定参数,在提取所有客户端公共知识的同时实现针对每个客户端的个性化建模.进一步地,APFL将每个客户端上执行的局部优化构建为顺序多任务学习,通过对全局共享参数的更新施加弹性权重巩固(elastic weight consolidation,EWC)惩罚,实现了全局共享模型中重要参数的记忆保留和非重要参数的快速学习.多个联邦基准数据集上的对比实验验证了本文方法的有效性和优越性.

关键词：联邦学习、边缘计算、异构数据、多任务学习、持续学习、参数分解、个性化

所属期刊栏目：52

分类号：G4;TP391;F270

资助基金：国家自然科学基金U1811461

在线出版日期：2023-01-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共15页

页码：2306-2320