神经网络概述及HOPFIELD神经网络.ppt
神经网络及其应用,H-H模型 Integrate-and-Fire模型基于放电率编码的生物神经网络 Hopfield 网络BP网络PID神经网络,人工神经网络,生物神经网络,神经科学,神经网络技术,1 生物神经元及其网络-H-H模型,1 生物神经元及其网络-H-H模型,(1)H-H方程（神经元模型）,1 生物神经元及其网络-H-H模型,：突触电流,：外部电流,1 生物神经元及其网络-H-H模型,(2)突触模型,2 生物神经元及其网络-Integrate-and-Fire模型,膜电位通过积分上升，到达阈值 后，放电（发出一个电脉冲），然后膜电位回复到复位电位,(1)神经元模型,神经元 的放电的时刻集：,神经元的状态（膜电压）,神经元 的突触前神经元集合：,2 生物神经元及其网络-Integrate-and-Fire模型,来自于突触的输入：,更一般的情况：,突触强度,2 生物神经元及其网络-Integrate-and-Fire模型,（2）突触模型,3 基于放电率编码的生物神经元及其网络,（1）神经编码,基于神经脉冲放电时刻的神经编码 神经元放电序列：基于神经元放电率的神经编码,神经元放电率,神经元在 时刻的放电的概率密度,3 基于放电率编码的生物神经元及其网络,(2)基于放电率编码的神经元模型,神经元放电率,(3)基于放电率编码的突触模型,神经元膜时间常数,简化,简化,input,weights,output,突触电流,突触时间常数,3 基于放电率编码的生物神经元及其网络,(4)基于放电率编码的前向神经网络,input,weights,output,可用于解释运动前区皮层神经元的响应特性:只要头的位置不变，神经元响应不变,(5)基于放电率编码的反馈神经网络,input,weights,output,可用于解释神经系统中的选择性放大、输入积分等特性,3 基于放电率编码的生物神经元及其网络,(5)基于放电率编码的反馈神经网络,3 基于放电率编码的生物神经元及其网络,选择性放大:,假设,（线性反馈神经网络）,（特征值,特征向量）,两边同乘,(5)基于放电率编码的反馈神经网络,3 基于放电率编码的生物神经元及其网络,选择性放大:,若,若,而其它特征值远小于1，则：,即投射到 轴上的输入向量将得到放大,输入积分:,眼睛的水平定位,3 基于放电率编码的生物神经元及其网络,(5)基于放电率编码的生物神经网络的学习,Hebb学习规则（1949）：如果神经元A对神经元B的放电有贡献，则从神经元A到神经元B的突触连接应加强,非监督式学习（unsupervised learning）：监督式学习（supervised learning）：第 个输入输出样本对，样本对个数强化式学习（reinforcement learning）：间于非监督式学习和监督式学习之间,input,weights,output,4 Hopfield神经网络,1982年，Hoopfield用能量函数的思想形成一种具有对称连接的递归网络所执行的计算的新方法。这类具有反馈的特殊神经网络在80年代引起了大量的关注，产生了著名的Hopfield网络。尽管Hopfield网络不可能是真正的神经生物系统模型，他们包涵的原理，即在动态的稳定网络中存储信息原理的，是极深刻的。,4 Hopfield神经网络-连续型,神经元的状态（输入）,神经元的输出(放电率),其它神经元的输出构成的输入,外部输入,4 Hopfield神经网络-离散型,:净输入,:输出,:sigmoid function,神经元的个数,4 Hopfield神经网络-离散型,如果Hopfield网络的联接权矩阵是对角线为0的对称矩阵，则它是稳定的。,著名的Lyapunov函数作为Hopfield网络的能量函数。,例如三个神经元的神经网络的权矩阵：,4 Hopfield神经网络-离散型,状态更新顺序（同步）：初始状态A=1,B=1,C=0,A=0,B=0,C=1,A=1,B=1,C=1,A=1,B=1,C=1,状态更新顺序（异步）：初始状态A=1,B=1,C=0,A=0,B=1,C=1,注:异步更新一定能演化到固定点,4 Hopfield神经网络-离散型,在优化问题中的应用,状态演化,（1）,（2）,注：,（3）,从任一初始状态演化（如图A=1，B=1），网络将稳定在A=1，B=0，这就是m1，m1的解。,异步更新,4 Hopfield神经网络-离散型,在联想记忆问题中的应用,注意：两个存储模式为两个局部能量最低点,Hebb 学习规则,假设存储模式:,4 Hopfield神经网络-离散型,在联想记忆问题中的应用,自相关记忆,能量函数：,4 Hopfield神经网络-离散型,在联想记忆问题中的应用,4 Hopfield神经网络-离散型,在联想记忆问题中的应用,4 Hopfield神经网络-离散型,联想记忆的两个重要问题,(1)存储容量,(2)吸引域,1 请以具体数据举一简单例子说明离散Hopfield网络如何用于优化问题。2 请以具体数据举一简单例子说明离散Hopfield网络如何用于联想记忆问题。,4 Hopfield神经网络-离散型,思考题,
