面向非独立同分布数据的联邦学习架构

摘要：

在超大规模边缘设备参与的联邦学习场景中,参与方本地数据为非独立同分布,导致总体训练数据不均衡且毒药攻击防御困难.有监督学习中增强数据均衡的多数方法所要求的先验知识与联邦学习的隐私保护原则发生冲突,而针对非独立同分布场景中的毒药攻击,现有的防御算法则过于复杂或侵害数据隐私.提出一种多服务器架构FedFog,其能在不泄露参与方本地数据分布的前提下,对数据分布相似的参与方进行聚类,将非独立同分布的训练数据转换成多个独立同分布的数据子集.基于各聚类中心,全局服务器计算出从各类别数据中提取的特征在全局模型更新时的权重,从而缓解总体训练数据不均衡的负面影响.同时,将毒药攻击防御任务从参与方全集分配至每个聚类内部,从而解决毒药攻击防御问题.实验结果表明:在总体训练数据不均衡的场景中,FedFog的全局模型精度相较FedSGD最多获得了 4.2个百分点的提升;在总体数据均衡但 1/3的参与方为毒药攻击者的场景中,FedFog的收敛性接近于无毒药攻击场景中的FedSGD.

关键词：非独立同分布、隐私保护、聚类、数据均衡、毒药攻击防御

所属期刊栏目：49

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;国家重点研究计划项目

在线出版日期：2023-07-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：110-117