● 摘要
人工神经网络是一种植根于许多学科的技术，其中涉及神经科学、数学、统计学、物理学、计算机科学和工程学．它具有一个重要性质，即在有教师或无教师的情况下能够从输入数据中进行学习的能力．人工神经网络的研究始于19世纪40年代初，并于1985年发展了BP（Back-Propagation Network,反向传播学习算法）网络算法，从而实现了Minsky多层网络设想，被公认为领导了现代人工神经网络技术的复兴，并且1987年由美国神经计算机专家R.Hecht-Nielsen正式提出了反向传播神经网络．该网络具有分类灵活，算法简练的优点，可用于模式分类、函数逼近、统计分析和数据压缩等领域，它是当前应用最为广泛的一种神经网络．但是，尽管这种基于梯度下降法的BP算法在函数逼近、模式识别等领域有着前所未有的优越性，它同样也存在着不可跨越的局限性，由于其在权值和阈值空间中对于误差曲面上的梯度使用“瞬间估计”，导致了在误差曲面上具有通过在真实方向附近的锯齿形路线趋于最小点的倾向，从而使得收敛速度相当缓慢，在很大程度上限制了它的优越性．这样就激发了许多的提高收敛速度的改进算法，主要有两大类：一种是采用启发式学习算法，另一种则是采用更有效的优化算法．本论文的核心创新就是基于优化思想考虑的：第一个改进算法是基于Broyden算法的BP网络结构算法，Broyden算法是非线性科学中对拟牛顿算法提出的一种修正Hessian矩阵的计算方案，在本论文中重点是运用其优越性于BP网络结构中，对这种算法的具体算法结构进行了详细的介绍，并且对其超线性收敛性进行了理论证明，本文中的仿真实验是用典型的逼近问题和异或问题（模式识别的典型案例）来做例证，从实验数据可以发现此算法无论在迭代次数上还是在精度的控制上都有了非常好的改善,在函数逼近实验中收敛速度比标准算法（即基于梯度下降法的BP网络算法）快了近80倍，而在异或问题的处理中，精度的良好性竟然达到了标准算法的 倍，这些理论结果和实验结果对于一般的改进算法是很难办到的，从而可以预测对于精度要求非常高而且收敛速度要求很快的一些工程问题，它将十分有效；第二个改进算法是基于Brown-Broyden修正算法的，这篇文章是由王德人教授的一篇文章所启发的，在以前的文献中未曾提及过，是一种新的快速收敛的BP 算法,该算法具有优越的超收敛性，在数值实验中，它在精度和收敛速度方面都远远优于本文上一个算法，显示了其超强的逼近能力和模式识别能力，除此之外，本算法的另一个亮点是，此算法在函数计算量和计算复杂度方面都大为降低．另外，小波神经网络将成我以后研究的方向，从而也在本文绪论中介绍了一些对于小波神经网络的认识和以后研究的方向，这些都是后期工作，尚无重要的理论结果，故在此只做简要的介绍．本文结构安排如下：第一章：绪论．第二章：非线性问题的预备知识．第三章：基于梯度下降法的BP网络．第四章：基于Broyden算法的BP网络．第五章：基于Broyden-Brown修正算法的BP网络．最后一部分为结论．
相关内容
相关标签