基于近似牛顿法的分布式卷积神经网络训练

摘要：

大多数机器学习问题可以最终归结为最优化问题(模型学习).它主要运用数学方法研究各种问题的优化途径及方案,在科学计算和工程分析中起着越来越重要的作用.随着深度网络的快速发展,数据和参数规模也日益增长.尽管近些年来GPU硬件、网络架构和训练方法均取得了重大的进步,但单一计算机仍然很难在大型数据集上高效地训练深度网络模型,分布式近似牛顿法作为解决这一问题的有效方法之一被引入到分布式神经网络的研究中.分布式近似牛顿法将总体样本平均分布到多台计算机,减少了每台计算机所需处理的数据量,使计算机之间互相通信,共同协作完成训练任务.文中提出了基于近似牛顿法的分布式深度学习,在相同的网络中利用分布式近似牛顿法训练,随着GPU数目呈2的指数次幂增加,训练时间呈近乎2的指数次幂减少.这与研究的最终目的一致,即在保证估计精度的前提下,利用现有分布式框架实现近似牛顿法,分布式训练神经网络,从而提升训练效率.

关键词：最优化问题、近似牛顿法、分布式框架、神经网络

所属期刊栏目：46

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金61876090,61522308

在线出版日期：2019-07-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：180-185