基于GPU的并行拟牛顿神经网络训练算法设计

摘要：

针对人工神经网络训练需要极强的计算能力和高效的最优解搜寻方法的问题,提出基于GPU的BFGS拟牛顿神经网络训练算法的并行实现.该并行实现将BFGS算法划分为不同的功能模块,针对不同模块特点采用混合的数据并行模式,充分利用GPU的处理和存储资源,取得较好的加速效果.试验结果显示:在复杂的神经网络结构下,基于GPU的并行神经网络的训练速度相比于基于CPU的实现方法最高提升了80倍;在微波器件的建模测试中,基于GPU的并行神经网络的速度相比于NeuroModeler软件提升了430倍,训练误差在1％左右.

关键词：神经网络、GPU、并行计算、拟牛顿算法、OpenCL、加速算法

所属期刊栏目：46

分类号：TP311.1(计算技术、计算机技术)

资助基金：国家自然科学基金61574099

在线出版日期：2018-11-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：458-463