带光滑L1/2正则化项的神经网络逆向迭代算法收敛性分析

摘要：

L1/2正则子比L2正则子更具稀疏性,有更强的剪枝能力;但其非凸、非光滑以及不满足Lipschitz条件的函数性质,使神经网络训练过程易于出现数值振荡现象,并且给收敛性分析带来理论困难.用光滑函数逼近L1/2正则子在克服数值振荡的同时可以保证目标函数具有良好的连续可微性质.针对提出的带光滑L1/2正则化项的逆向迭代神经网络模型,证明了误差函数的单调递减性质及算法的确定型收敛性:弱收敛和强收敛.数值实验表明,新的逆向迭代学习算法较已有算法保证了输入向量序列在训练过程中的稳定性及稀疏性,并有较好的泛化能力.

关键词：神经网络、梯度法、逆向迭代算法、单调性、正则化、收敛性

所属期刊栏目：39

分类号：TP183(自动化基础理论)

资助基金：国家自然科学基金青年项目61305075;教育部高等学校博士学科点专项科研基金20130133120014;中国博士后科学基金面上项目2012M520624;山东省自然科学基金青年项目ZR2013FQ004;中央高校基本科研业务费专项基金14CX05042A,14CX02024A

在线出版日期：2015-07-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：164-170