一种深度神经网络的分布式训练方法

摘要：

深度神经网络在高维数据的分类和预测中取得了巨大成功.训练深度神经网络是数据密集型的任务,需从多个数据源收集大规模的数据.这些数据中通常包含敏感信息时,使得深度神经网络的训练过程容易泄露数据隐私.针对训练过程中的数据隐私和通信代价问题,提出了一种深度神经网络的分布式训练方法,允许基于多个数据源共同训练深度神经网络.首先,提出了分布式训练架构,由1个计算中心和多个代理组成.其次,提出了基于多代理的分布式训练算法,允许代理在数据不出本地和减少通信代价的情况下,通过切割深度神经网络,实现分布式地共同训练模型.然后,分析了算法的正确性.最后,实验结果表明该方法是有效的.

关键词：深度神经网络、分布式训练、监督学习、隐私保护

所属期刊栏目：49

分类号：TP311(计算技术、计算机技术)

在线出版日期：2023-03-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：48-53