基于低秩正则化的神经网络学习方法

摘要：

针对神经网络参数过多容易导致过拟合这一问题,结合神经网络学习与低秩学习的基本思想,提出一种低秩正则化神经网络,每层的权值矩阵被约束为低秩的,降低网络的有效参数规模,达到防止过拟合的效果.由于低秩约束的存在,低秩正则化神经网络的学习过程不能直接利用传统BP算法来完成,因此,提出一种扩展的BP算法,用于求解含低秩约束的神经网络学习问题.实验结果表明,所提方法在分类精度、收敛速度以及预测精度上优于对比方法.

关键词：神经网络、低秩矩阵因子分解、反向传播算法、正则化、数据分类与回归

所属期刊栏目：39

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金优秀青年基金项目61622305;国家自然科学基金青年基金项目61502238;江苏省自然科学基金杰出青年基金项目BK20160040

在线出版日期：2018-06-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：1034-1038,1077