● 摘要
非对称反馈神经网络是典型的多体动力学系统,本文研究由广义感知机学习规则设计的单层全连接非对称反馈神经网络中亚稳态的位置及其稳定性。在实际应用中,神经网络能很好地用于联想记忆和模式识别,但系统中大量亚稳态的存在会使得神经网络在这些方面的应用受到限制,因此对神经网络中的亚稳态的研究显得尤为重要。
以往对于神经网络中亚稳态的研究更多地集中在对称网络。一方面通过非线性动力学的方法分析其动力学特性,另一方面平衡态下系统的宏观性质可通过统计力学中平均场近似的方法得到。特别地当记忆模式为三个的情形,系统中亚稳态的结构和数目可通过群论方法准确得到,遗憾的是这种方法并不适用于记忆模式较多的情形。而且大量的研究表明,网络的高对称性会导致系统中存在更多的亚稳态,为消除亚稳态对网络的影响可增加网络的不对称度,即设计非对称神经网络。同时,实验数据表明真实的大脑网络也呈非对称连接,这又为非对称反馈神经网络提供了生物基础。
目前感知机学习规则和MCA学习规则都可用于设计非对称神经网络,这两种学习规则能够以特定的学习方法直接控制与记忆模式对应的吸引子的吸引域,从而提高记忆模式的稳定性,另外还可从根本上消除亚稳态对系统的影响。对于联想记忆和模式识别而言非对称网络具有更为显著的优势。在非对称神经网络中,由于不能定义一个全局的李雅谱诺夫函数,系统的性质无法用统计力学的方法研究,因此人们更多地是通过数值计算的方法研究其动力学特性。
本文研究由感知机学习规则设计的单层反馈神经网络中的亚稳态。通过计算亚稳态与基态之间的汉明距离 (Hamming distance),发现系统中的亚稳态集中出现在与各基态近似等距离的位置。此外,还计算了亚稳态与基态的能量比以研究亚稳态的稳定性与控制参数的依赖关系。最后,将对称网络和非对称网络中的亚稳态的能量比进行比较,发现非对称神经网络具有更小的能量比,这说明非对称网络能有效地减弱亚稳态对系统的影响,从而显示出非对称神经网络在实际应用方面的优越性。