分布式深度学习研究

摘要：

传统单机深度学习模型的训练耗时,动辄花费一周甚至数月的时间,让研究者望而却步,因此深度学习并行训练的方法被提出,用来加速深度学习算法的学习过程.文章首先分析了为什么要实现分布式训练,然后分别介绍了基于模型并行和数据并行两种主要的分布式深度学习框架,最后对两种不同的分布式深度学习框架的优缺点进行比较,得出结论.

关键词：深度学习、分布式训练、模型并行、数据并行

分类号：TP181(自动化基础理论)

资助基金：辽宁省教育厅科学技术研究项目基金"基于深度学习的大规模图像分类算法研究"LG201609

在线出版日期：2017-10-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共2页

页码：7,10