一种基于分布式编码的同步梯度下降算法

摘要：

基于数据并行化的异步随机梯度下降(ASGD)算法由于需要在分布式计算节点之间频繁交换梯度数据,从而影响算法执行效率.提出基于分布式编码的同步随机梯度下降(SSGD)算法,利用计算任务的冗余分发策略对每个节点的中间结果传输时间进行量化以减少单一批次训练时间,并通过数据传输编码策略的分组数据交换模式降低节点间的数据通信总量.实验结果表明,当配置合适的超参数时,与SSGD和ASGD算法相比,该算法在深度神经网络和卷积神经网络分布式训练中平均减少了53.97％、26.89％和39.11％、26.37％的训练时间,从而证明其能有效降低分布式集群的通信负载并保证神经网络的训练精确度.

关键词：神经网络、深度学习、分布式编码、梯度下降、通信负载

所属期刊栏目：47

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金重点项目;国家重点研发计划

在线出版日期：2021-05-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：68-76,83