基于分布式内存计算的深度学习方法

摘要：

为了提升深度学习技术并行化学习效率,设计了一种面向计算机集群的分布式内存计算方法.构建分布式内存环境,建立数据分片处理和多任务调度机制,使模型参数和神经元节点的计算和存储并行运行于该环境中,避免了磁盘I/O对训练速率的影响;采用深度信念网络模型,以多个副本异步并行计算的方式进行模型训练,并使用dropout方法防止模型训练过拟合.对CIFAR-10图像数据集进行分类训练,试验结果表明,该方法可以明显提高深度神经网络的训练效率,并具备良好的可扩展性.

关键词：人工智能、并行深度学习、分布式内存计算、深信度网络

所属期刊栏目：45

分类号：TP183(自动化基础理论)

资助基金：科技部创新方法工作专项项目2011IM010400

在线出版日期：2016-05-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：921-925