基于改进并行回火算法的RBM网络训练研究

摘要：

目前受限玻尔兹曼机网络训练算法主要是基于采样的算法.当用采样算法进行梯度计算时,得到的采样梯度是真实梯度的近似值,采样梯度和真实梯度之间存在较大的误差,这严重影响了网络的训练效果.针对该问题,本文首先分析了采样梯度和真实梯度之间的数值误差和方向误差,以及它们对网络训练性能的影响,然后从马尔科夫采样的角度对以上问题进行了理论分析,并建立了梯度修正模型,通过修正梯度对采样梯度进行数值和方向的调节,并提出了基于改进并行回火算法的训练算法,即GFPT(Gradient fixing parallel tempering)算法.最后给出GFPT算法与现有算法的对比实验,仿真结果表明,GFPT算法可以极大地减小采样梯度和真实梯度之间的误差,大幅度提升受限玻尔兹曼机网络的训练效果.

关键词：深度学习、受限玻尔兹曼机、采样算法、马尔科夫理论、并行回火、GFPT

所属期刊栏目：43

分类号：O41;TU3

资助基金：国家自然科学基金61573285, 61305133;中央高校基本科研业务费专项基金3102015BJⅡGH01 资助 Supported by National Natural Science Foundation of China61573285, 61305133;Fundamental Research Funds for the Central Universities3102015BJⅡGH01

在线出版日期：2017-06-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：753-764