多层感知器模型互反奇异性区域学习动态的理论分析

摘要：

多层感知器神经网络(MLPs)的学习过程经常发生一些奇异性行为,容易陷入平坦区,这都和MLPs的参数空间中存在的奇异性区域有直接关系.当MLPs的两个隐节点的权值接近互反时,置换对称性会导致学习困难.对MLPs的互反奇异性区域附近的学习动态进行分析.本文首先得到了平均学习方程的解析表达式,然后给出了互反奇异性区域附近的理论学习轨迹,并通过数值方法得到了其附近的实际学习轨迹.通过仿真实验,分别观察了MLPs的平均学习动态,批处理学习动态和在线学习动态,并进行了比较分析.

关键词：多层感知器、神经网络、学习动态、奇异性、互反

所属期刊栏目：31

分类号：TP273(自动化技术及设备)

资助基金：国家自然科学基金重大项目资助项目11190015;高等学校博士学科点专项科研基金资助项目20100092110020;国家自然科学基金资助项目61374006

在线出版日期：2014-04-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：140-147