基于自适应学习率的深度信念网设计与应用

摘要：

针对深度信念网(Deep belief network,DBN)预训练耗时长的问题,提出了一种基于自适应学习率的DBN(Adap-tive learning rate DBN,ALRDBN).ALRDBN将自适应学习率引入到对比差度(Contrastive divergence,CD)算法中,通过自动调整学习步长来提高CD算法的收敛速度.然后设计基于自适应学习率的权值训练方法,通过网络性能分析给出学习率变化系数的范围.最后,通过一系列的实验对所设计的ALRDBN进行测试,仿真实验结果表明,ALRDBN的收敛速度得到了提高且预测精度也有所改善.

关键词：深度信念网、自适应学习率、对比差度、收敛速度、性能分析

所属期刊栏目：43

分类号：TP3;O39

资助基金：国家自然科学基金61533002, 61473034;国家杰出青年科学基金61225016;内涵发展—引进人才科研启动费资助Supported by National Natural Science Foundation of China61533002, 61473034;National Natural Science Fund for Distin-guished Young Scholars61225016;Connotation Development—Scientific Research Start-up Funds of Talent Introduction

在线出版日期：2017-09-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：1339-1349