基于训练数据动态分配的深度学习并行优化机制

摘要：

基于MXNet框架,针对同步并行下参数同步耗时过长这一问题,提出了一种多机同步并行下的训练数据动态分配算法.基于计算节点的计算效率,每一次迭代后将动态调整节点需要处理的样本数据量.这样的机制使模型既能同步并行也降低了等待梯度更新的耗时.最后,利用天河二号超级计算机对此优化算法进行了对比实验,实验结果表明,所提出的优化机制达到了预期效果.

关键词：深度学习、数据分配、同步并行、并行训练、超级计算

所属期刊栏目：40

分类号：TP301(计算技术、计算机技术)

资助基金：国家重点研发计划2016YFB0200404;国家自然科学基金U1711263

在线出版日期：2019-01-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：141-144