支持隐私保护的端云协同训练

摘要：

我国在数据资源上具有规模化和多样化的优势,在移动互联网数据应用上具有后发优势,在丰富的应用场景下产生了海量数据,推荐系统可以从大规模数据中挖掘有价值的信息,缓解信息过载问题.已有的工作聚焦于集中式推荐,数据在云侧训练.随着数据安全和隐私保护问题的日益突出,从端侧设备收集用户数据变得越发困难,这使得集中式推荐变得不可行.以去中心化的方式,利用端侧设备和云服务器的优势,充分考虑数据安全与隐私保护问题,面向推荐系统,提出了一个基于联邦机器学习(federated machine learning,FedML)与移动神经网络(mobile neural network,MNN)的端云协同训练方法FedMNN(federated machine learning and mobile neural network).具体分为 3部分:首先,将多种深度学习框架实现的云侧模型以ONNX(open neural network exchange)作为中间框架通过MNN模型转换工具转换成通用MNN模型供端侧设备训练;然后,云侧将模型下发给端侧设备,端侧初始化后,获取本地数据进行训练并计算损失,再执行梯度反向传播;最后,端侧训练后的模型反馈给云侧,通过联邦学习框架进行模型聚合与更新,再根据不同需求,将云侧模型按需部署到端侧设备上,实现端云协同.实验通过对比FedMNN和FLTFlite(flower and TensorFlow lite)框架在基准任务上的功耗,发现FedMNN比FLTFlite低 32%～51%,并以DSSM(deep structured semantic model)和Deep and Wide这 2个推荐模型为例,实验验证了端云协同训练的有效性.

关键词：隐私保护、联邦学习、机器学习、端云协同训练

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金;安徽工程大学本科教学质量提升计划项目

在线出版日期：2023-10-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：77-89