前馈神经网络导数特性分析

摘要：

为分析前馈神经网络输出量的一阶、二阶偏导数特性，从一层网络结构入手，推导网络输出量的一阶偏导数，应用链式求导法则，推导多层网络输出量的一阶、二阶偏导数的计算公式。在此基础上推导网络的三阶偏导数，并针对二层结构网络，在其输出层激活函数为线性函数时，推导出该网络对输入量的高阶偏导数计算公式。实例分析结果表明，前馈神经网络一阶、二阶偏导数值的精度比网络输出值的精度要低，尤其是在区间的边界上有时会出现较大的偏差。网络的一阶、二阶偏导数值的精度也会随着隐含层神经元数量的增加明显降低，在基本相同的网络训练精度下，隐含层神经元较多的网络比神经元少的网络导数特性差。

关键词：前馈神经网络、偏导数、线性激活函数、精度、网络体系结构、网络输出

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金资助项目51069003；云南省应用基础研究基金资助项目2010ZC048。

在线出版日期：2014-08-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：207-211