10.3969/j.issn.1007-130X.2018.Suppl(1).026
基于训练数据动态分配的深度学习并行优化机制
基于MXNet框架,针对同步并行下参数同步耗时过长这一问题,提出了一种多机同步并行下的训练数据动态分配算法.基于计算节点的计算效率,每一次迭代后将动态调整节点需要处理的样本数据量.这样的机制使模型既能同步并行也降低了等待梯度更新的耗时.最后,利用天河二号超级计算机对此优化算法进行了对比实验,实验结果表明,所提出的优化机制达到了预期效果.
深度学习、数据分配、同步并行、并行训练、超级计算
40
TP301(计算技术、计算机技术)
国家重点研发计划2016YFB0200404;国家自然科学基金U1711263
2019-01-18(万方平台首次上网日期,不代表论文的发表时间)
共4页
141-144