摘  要：神经网络由于其非线性处理能力强，性能稳定等特点得到了广泛应用和研究。主要应用于模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制等。神经网络中使用最为广泛的就是前馈神经网络。其网络权值学习算法中影响最大的就是误差反向传播算法（back-propagation简称BP算法）。BP算法存在局部极小点，收敛速度慢等缺点。基于优化理论的Levenberg-Marquardt算法忽略了二阶项。该文讨论当误差不为零或者不为线性函数即二阶项S(W)不能忽略时的Hesse矩阵的近似计算，进而训练网络。

关键词：神经网络；误差反向传播算法；Hesse矩阵

中图分类号：TP312  文献标识码：A  文章编号：1811-8755(2004)0802

 

人工神经网络系统从20世纪40年代末诞生至今仅半个多世纪,但由于所具有的非线性特性，大量的并行分布结构以及学习和归纳能力使其在在模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制等领域得到越来越广泛得应用，尤其是前馈神经网络。国内外研究的重点主要集中在网络权值学习算法，误差函数和网络结构等。网络权值的学习算法中影响最大的就是误差反向传播算法（back-propagation简称BP算法）。该方法由正向传播和误差反向传播两个过程组成。由于BP算法存在局部极小点，收敛速度慢等缺点，所以各种改进的BP算法纷纷出现。如可变的学习速率，以提高算法的收敛速度，对于局部极小点问题，很多研究重点是神经网络与进化算法 结合。进化计算其固有的全局搜索能力可以保证经过足够多进化代数总能找到全局最有解。基于优化理论可以给出许多权值学习算法，如共轭梯度法和Levenberg-Marquardt算法（简称LM算法）。很多研究和应用中都不加证明的认为LM算法具有全局二阶收敛性。事实上，只有当Hesse矩阵的二阶项S(W)趋于零时，才能应用LM算法，否则网络训练可能收敛很慢或不收敛。

该文讨论当误差不为零或者误差不为线性函数即二阶项S(W)不能忽略时的Hesse矩阵的近似计算，进而训练网络。该方法有较好的收敛特性和稳定性。