使用动态增减枝算法优化网络结构的DBN模型

摘要：

近年来深度信念网络(DBN)得到了广泛的应用,但在现有文献中很少有关于如何动态确定其结构的详细研究.提出了一种使用动态增减枝算法的DBN模型(DDBN),可以有效地优化DBN的网络结构.DDBN可以使用动态增减枝算法而不是人工实验来自动确定其结构.首先,在训练过程中通过改变隐藏层层数和隐藏层神经元的数量,自动构建DDBN的结构,这是通过动态增减枝算法实现的.该算法依赖于隐藏层神经元的权重距离(WD)和激活概率的标准差以及整个网络的能量函数.其次,DDBN能够在动态过程中调整权重,有助于提高网络性能.最后,为了验证DDBN的有效性,将DDBN在MNIST、USPS和CIFAR-10三个基准图像数据集上进行了测试.实验结果表明,DDBN比现有的一些DBN结构调整方法具有更好的性能.

关键词：深度学习、动态深度信念网络、动态增减枝算法、网络结构优化

所属期刊栏目：13

分类号：TP391.4(计算技术、计算机技术)

资助基金：The National Natural Science Foundation of China under Grant No. 61673193;the Fundamental Research Funds for the Central Universities of China under Grant Nos. JUSRP51635B, JUSRP51510;the Natural Science Foundation of Jiangsu Province under Grant No. BK20150159;the Postdoctoral Science Foundation of China under Grant No. 2017M621625

在线出版日期：2019-11-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：1721-1732