《神经信息学》PPT课件.ppt

《《神经信息学》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《神经信息学》PPT课件.ppt（91页珍藏版）》请在三一办公上搜索。

1、2023/7/28,1,神经信息学,平行分布式理论框架史忠植中科院计算所,2023/7/28,2,目 录,1.神经计算2.并行分布式理论框架3.交互与竞争神经网络4.误差反向传播神经网络5.Hopfield神经网络,2023/7/28,3,神经网络,一个神经网络是由简单处理元构成的规模宏大的并行分布处理器。天然具有存储经验知识和使之可用的特性。神经网络从两个方面上模拟大脑：神经网络获取的知识是从外界环境中学习得来的。内部神经元的连接强度，即突触权值，用于储存获取的知识。,2023/7/28,4,发展历史,萌芽期（20世纪40年代）人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，到

2、1949年止。1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊Bulletin of Methematical Biophysics 949年，心理学家D.O.Hebb提出神经元之间突触联系是可变的假说Hebb学习律。,2023/7/28,5,发展历史,第一高潮期（19501968）以Marvin Minsky，Frank Rosenblatt，Bernard Widrow等为代表人物，代表作是单级感知器（Perceptron）。可用电子线路模拟。人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项

3、研究，希望尽快占领制高点。,2023/7/28,6,发展历史,反思期（19691982）M.L.Minsky和S.Papert，Perceptron，MIT Press，1969年 异或”运算不可表示 二十世纪70年代和80年代早期的研究结果,2023/7/28,7,发展历史,第二高潮期（19831990）1982年，J.Hopfield提出Hopfield网络用Lyapunov函数作为网络性能判定的能量函数，建立ANN稳定性的判别依据阐明了ANN与动力学的关系用非线性动力学的方法来研究ANN的特性指出信息被存放在网络中神经元的联接上,2023/7/28,8,发展历史,第二高潮期（198319

4、90）1984年，J.Hopfield设计研制了后来被人们称为Hopfield网-Tank 电路。较好地解决了著名的TSP问题，找到了最佳解的近似解，引起了较大的轰动。1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理（PDP）小组的研究者在Hopfield网络中引入了随机机制，提出所谓的Boltzmann机。,2023/7/28,9,发展历史,1986年，并行分布处理小组的Rumelhart等研究者重新独立地提出多层网络的学习算法BP算法，较好地解决了多层网络的学习问题。（Paker1982和Werbos1974年）自适应共振理论（ART）自组织

5、特征映射理论,2023/7/28,10,发展历史,Hinton 等人最近提出了 Helmboltz 机 徐雷提出的 Ying-Yang 机理论模型 甘利俊一(S.Amari)开创和发展的基于统计流形的方法应用于人工神经网络的研究,国内首届神经网络大会是1990年12月在北京举行的。,2023/7/28,11,并行分布式理论框架,1986年，美国加州大学圣地亚哥分校（UCSD）Rumellhart，McClelland，Hinton：Parallel and Distributed Processing,MIT Press,Cambridge,2023/7/28,12,并行分布式理论框架,PDP

6、模型1）一组处理单元（PE或AN）2）处理单元的激活状态（ai）3）每个处理单元的输出函数（fi）4）处理单元之间的连接模式5）传递规则（wijoi）6）把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi）7）通过经验修改连接强度的学习规则8）系统运行的环境（样本集合）,2023/7/28,13,神经网络的维数,Various types of neuronsVarious network architecturesVarious learning algorithmsVarious applications,2023/7/28,14,自组织神经网络的典型结构,交互与竞争IAC神经网

7、络,2023/7/28,15,竞争学习,相似性测量欧式距离法,2023/7/28,16,相似性测量余弦法,竞争学习,2023/7/28,17,竞争学习规则Winner-Take-All,网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称为Winner Take All。,竞争学习原理,2023/7/28,18,寻找获胜神经元 当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神经元。,欲使两单位向量最相似，须使其点积最大。即：,

8、竞争学习原理,2023/7/28,19,从上式可以看出，欲使两单位向量的欧式距离最小，须使两向量的点积最大。即：,竞争学习原理,2023/7/28,20,3.网络输出与权值调整,步骤3完成后回到步骤1继续训练，直到学习率衰减到0。,竞争学习原理,2023/7/28,21,单层感知器模型,前馈神经网络,j=1,2,m,2023/7/28,22,净输入：,输出：,单层感知器,2023/7/28,23,感知器的功能,(1)设输入向量X=(x1,x2)T,输出：,则由方程 w1jx1+w2jx2-Tj=0 确定了二维平面上的一条分界线。,单计算节点感知器,单层感知器,2023/7/28,24,感知器的

9、功能,单层感知器,2023/7/28,25,感知器的功能,(2)设输入向量X=(x1,x2,x3)T,输出：,则由方程 w1jx1+w2jx2+w3j x3Tj=0(3.4)确定了三维空间上的一个分界平面。,单层感知器,2023/7/28,26,感知器的功能,单层感知器,2023/7/28,27,多层感知器,网络的拓扑结构,2023/7/28,28,双层感知器,“异或”问题分类,用两计算层感知器解决“异或”问题。,“异或”的真值表,多层感知器,2023/7/28,29,双层感知器,“异或”问题分类,用两计算层感知器解决“异或”问题,“异或”的真值表,多层感知器,2023/7/28,30,双层感

10、知器,“异或”问题分类,用两计算层感知器解决“异或”问题。,“异或”的真值表,多层感知器,2023/7/28,31,双层感知器,“异或”问题分类,例四 用两计算层感知器解决“异或”问题。,“异或”的真值表,多层感知器,2023/7/28,32,具有不同隐层数的感知器的分类能力对比,多层感知器,2023/7/28,33,基于BP算法的多层前馈网络模型,误差反向传播（BP）网路,2023/7/28,34,基于BP算法的多层前馈网络模型,输入向量：X=(x1,x2,xi,xn)T隐层输出向量：Y=(y1,y2,yj,ym)T输出层输出向量：O=(o1,o2,ok,ol)T期望输出向量：d=(d1,d

11、2,dk,dl)T输入层到隐层之间的权值矩阵：V=(V1,V2,Vj,Vm)隐层到输出层之间的权值矩阵：W=(W1,W2,Wk,Wl),误差反向传播（BP）网路,2023/7/28,35,3.4.1 基于BP算法的多层前馈网络模型,误差反向传播（BP）网路,2023/7/28,36,3.4.1 基于BP算法的多层前馈网络模型,双极性Sigmoid函数：,误差反向传播（BP）网路,2023/7/28,37,一、网络误差 定义与权值调整思路,将以上误差定义式展开至隐层：,BP学习算法,2023/7/28,38,一、网络误差与权值调整,进一步展开至输入层：,BP学习算法,2023/7/28,39,B

12、P学习算法,式中负号表示梯度下降，常数(0,1)表示比例系数。,在全部推导过程中，对输出层有j=0,1,2,m;k=1,2,l 对隐层有 i=0,1,2,n;j=1,2,m,BP学习算法,2023/7/28,40,对于输出层，式(3.4.9a)可写为,BP算法推导,2023/7/28,41,(1)初始化；,(4)计算各层误差信号；,(5)调整各层权值；,(6)检查是否对所有样本完成一次 轮训；,(7)检查网络总误差是否达到精 度要求。,(2)输入训练样本对X Xp、d dp计算各层输出；,(3)计算网络输出误差；,BP算法的程序实现,2023/7/28,42,然后根据总误差计算各层的误差信号并

13、调整权值。,另一种方法是在所有样本输入之后，计算网络的总误差：,BP算法的程序实现,2023/7/28,43,(1)非线性映射能力,多层前馈网能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供BP网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。,多层前馈网(感知器)的主要能力,2023/7/28,44,(2)泛化能力,当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为多层前馈网的泛化能力。,(3)容错能力,输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影

14、响很小。,多层前馈网(感知器)的主要能力,2023/7/28,45,误差函数的可调整参数的个数 nw 等于各层权值数加上阈值数，即：,误差 E 是 nw+1 维空间中一个形状极为复杂的曲面，该曲面上的每个点的“高度”对应于一个误差值，每个点的坐标向量对应着 nw 个权值，因此称这样的空间为误差的权空间。,BP算法的局限性,2023/7/28,46,误差曲面的分布有两个特点：,特点之一：存在平坦区域,BP算法的局限性,2023/7/28,47,特点之二：存在多个极小点,多数极小点都是局部极小，即使是全局极小往往也不是唯一的，但其特点都是误差梯度为零。,误差曲面的平坦区域会使训练次数大大增加，从而

15、影响了收敛速度；而误差曲面的多极小点会使训练陷入局部极小，从而使训练无法收敛于给定误差。,BP算法的局限性,2023/7/28,48,标准的BP算法在应用中暴露出不少内在的缺陷：,易形成局部极小而得不到全局最优；训练次数多使得学习效率低，收敛速度慢；隐节点的选取缺乏理论指导；训练时学习新样本有遗忘旧样本的趋势。,针对上述问题，国内外已提出不少有效的改进算法，下面仅介绍其中3种较常用的方法。,标准BP算法的改进,2023/7/28,49,1 增加动量项,为动量系数，一般有(0，1),2 自适应调节学习率,设一初始学习率，若经过一批次权值调整后使总误差，则本次调整无效，且=(1)。,标准BP算法的

16、改进,2023/7/28,50,3 引入陡度因子,实现这一思路的具体作法是，在原转移函数中引入一个陡度因子,标准BP算法的改进,2023/7/28,51,概述,Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家教授于1982年提出，是一种单层反馈神经网络。,Hopfield网络是一种由非线性元件构成的反馈系统，其稳定状态的分析比前向神经网络要复杂得多。1984年，Hopfield设计并研制了网络模型的电路，并成功地解决了旅行商(TSP)计算难题(优化问题)。,Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN(Discrete Hopfie

17、ld Neural Network)和CHNN(Continues Hopfield Neural Network)。,Hello,Im John Hopfield,2023/7/28,52,离散Hopfield 神经网络,2023/7/28,53,离散Hopfield 神经网络,网络模型表示法二,2023/7/28,54,离散Hopfield 神经网络,相关参数说明任意神经元 i与 j间的突触权值为，神经元之间连接是对称的，神经元自身无连接.每个神经元都同其他的神经元相连,其输出信号经过其他神经元又有可能反馈给自己 设Hopfield网络中有n个神经元，其中任意神经元的输入用 表示，输出 用

18、表示，它们都是时间的函数，其中 也称为神经元在时刻t 的状态。,2023/7/28,55,离散Hopfield 神经网络,激励函数,2023/7/28,56,离散Hopfield 神经网络,离散Hopfield网络的运行规则(1)串行(异步)工作方式 在任时刻，只有某神经元(随机的或确定的选择)依上式变化，而其他神经元的状态不变。(2)并行(同步)工作方式 在任一时刻，部分神经元或全部神经元的状态同时改变。,2023/7/28,57,离散Hopfield 神经网络,串行(异步)工作方式运行步骤第一步 对网络进行初始化；第二步 从网络中随机选取一个神经元；第三步 按式(2-5)求出该神经元i的输

19、出；第四步 按式(2-6)求出该神经元经激活函数处理后的输出，此时网络中的其他神经元的输出保持不变；第五步 判断网络是否达到稳定状态，若达到稳定状态或满足给定条件则结束；否则转到第二步继续运行。,2023/7/28,58,离散Hopfield 神经网络,稳定状态若网络从某一时刻以后，状态不再发生变化，则称网络处于稳定状态网络为对称连接，即；神经元自身无连接 能量函数在网络运行中不断降低，最后达到稳定,2023/7/28,59,离散Hopfield 神经网络,网络中神经元能量函数变化量,Hopfield网络状态向着能量函数减小的方向演化。由于能量函数有界，所以系统必然会趋于稳定状态。,2023/

20、7/28,60,连续Hopfield 神经网络,网络模型,2023/7/28,61,连续Hopfield 神经网络,稳定性分析将下式代入得：,因为,连续Hopfield网络模型是稳定的,2023/7/28,62,连续Hopfield 神经网络,连续Hopfield网络模型的主要特性1)连续Hopfield网络的神经元作为I/O转换，其传输特性具有Sigmoid特性；2)具有时空整合作用；3)在神经元之间存在着大量的兴奋性和抑制性连接，这种联接主要是通过反馈来实现。4)具有既代表产生动作电位的神经元，又有代表按渐进方式工作的神经元，即保留了动态和非线性两个最重要的计算特性。Hopfield神经网

21、络设计的目标就是使得网络存储一些特定的平衡点，当给定网络一个初始条件时，网络最后会在这样的点上停下来,2023/7/28,63,Hopfield 神经网络的MATLAB实现,MATLAB中Hopfield网络的重要函数和功能,2023/7/28,64,Hopfield 神经网络的MATLAB实现,MATLAB中与Hopfield网络有关的重要函数和功能 newhop()功能 生成一个Hopfield回归网络。格式 net=newhop(T)说明 net为生成的神经网络，具有在T中的向量上稳定的点；T是具有Q个目标向量的R*Q矩阵（元素必须为-1或1）。Hopfield神经网络经常被应用于模式的

22、联想记忆中。Hopfield神经网络仅有一层，其激活函数用satlins()函数，层中的神经元有来自它自身的连接权和阈值。,2023/7/28,65,Hopfield 神经网络的MATLAB实现,MATLAB中与Hopfield网络有关的重要函数和功能satlins()功能 对称饱和线性传递函数格式 A=satlins(N)A输出向量矩阵；N是由网络的输入向量组成的S*Q矩阵，返回的矩阵A与N的维数大小一致，A的元素取值位于区间0，1内。当N中的元素介于-1和1之间时，其输出等于输入；当输入值小于-1时返回-1；当输入值大于1时返回1。,2023/7/28,66,Hopfield 神经网络的M

23、ATLAB实现,设印刷体数字由10 10点阵构成，就是将数字分成很多小方块，每个方块就对应数字的一部分，构成数字本部分的方块用1表示，空白处用-1表示。试设计一个Hopfield网络，能够正确识别印刷体的数字。,由点阵构成的数字1,由点阵构成的数字2,2023/7/28,67,程序,2023/7/28,68,稳定性分析,网络的稳定性是与收敛性不同的问题 Cohen和Grossberg1983年:Hopfield网络的稳定性定理 如果Hopfield网络的联接权矩阵是对角线为0的对称矩阵，则它是稳定的 用著名的Lyapunov函数作为Hopfield网络的能量函数,2023/7/28,69,Ly

24、apunov函数能量函数,作为网络的稳定性度量wijoioj：网络的一致性测度。xjoj：神经元的输入和输出的一致性测度。joj：神经元自身的稳定性的测度。,2023/7/28,70,当ANk的状态从ok变成ok,1、ANk是输入神经元,2023/7/28,71,当ANk的状态从ok变成ok,wkk=0,2023/7/28,72,=-(netk-k)ok,ANk状态的变化：ok=(ok-ok)ok=0，=0,ok0，ok=1&ok=0，ok由0变到1，netkk，netk-k0所以，-(netk-k)ok0故0,结论：网络的目标函数总是下降,ok0,ok=0&ok=1，ok由1变到0netkk

25、，netk-k0-(netk-k)ok0故0,2023/7/28,73,当ANk的状态从ok变成ok,2、ANk不是输入神经元,2023/7/28,74,当ANk的状态从ok变成ok,无论ANk的状态是如何变化的，总有 0,2023/7/28,75,联想记忆的结构,自联想异联想双联想记忆（Bidirectional Associative MemoryBAM）。双联想记忆具有一定的泛化能力它对含有一定缺陷的输入向量，通过对信号的不断变换、修补，最后给出一个正确的输出。,2023/7/28,76,基本的联想记忆结构,2023/7/28,77,网络运行,Y=F(XW)X=F(YWT)X=(x1，x

26、2，xn)Y=(y1，y2，ym)F为神经元的激活函数，一般可采用S形函数,2023/7/28,78,激活函数阈值函数,随着的增加，该函数趋近于阈值为0的阈值函数。1if neti0yi=0if neti0 yiif neti=0,2023/7/28,79,基本BAM的稳定,Kosko(1987)：基本的双联存储器无条件稳定联接权矩阵是互为转置矩阵。当输入向量的维数与输出向量的维数相同时，W为方阵，此时如果联接矩阵W是对称的，则基本的双联存储器退化成一个Hopfield网,2023/7/28,80,异联想记忆,样本集：S=(X1,Y1)，(X2,Y2),(Xs,Ys)权矩阵,网络需要对输入向量

27、进行循环处理的情况当输入向量中含有“噪音”样本集所含的信息超出网络的容量,2023/7/28,81,容量,Kosko（1987），一般情况下，相联存储器的容量不会超过网络最小层神经元的个数min Haines和Hecht-Nielson（1988），“非均匀”网络的容量最多可以达到2min R.J.McEliece、E.C.Posner、E.R.Rodemich用户随机地选择L个状态每个向量中有4+log2min个分量为1，其它为-198%的向量成为稳定状态,2023/7/28,82,Hopfield网解决TSP问题,1985年，J.J.Hopfield和D.W.Tank用神经网求解TSP。试

28、验表明，当城市的个数不超过30时，多可以给出最优解的近似解。而当城市的个数超过30时，最终的结果就不太理想了 n个城市间存在n!/(2n)条可能路径 设问题中含有n个城市,用n*n个神经元构成网络,2023/7/28,83,Hopfield网解决TSP问题,dxy城市X与城市Y之间的距离；yxi城市X的第i个神经元的状态：1城市X在第i个被访问yxi=0城市X不在第i个被访问wxi,yj城市X的第i个神经元到城市Y的第j个神经元的连接权。,2023/7/28,84,Hopfield网用于解决TSP问题,例如：四个城市X、Y、Z、W,2023/7/28,85,Hopfield网用于解决TSP问题

29、,连接矩阵 wxi,yj=-Axy(1-ij)Bij(1-xy)C dxy(ji+1+ji-1)1如果i=jij=0如果ij,2023/7/28,86,网络的能量函数,2023/7/28,87,网络的能量函数,仅当所有的城市最多只被访问一次时取得极小值0。,A、B、C、D为惩罚因子,第1项,2023/7/28,88,网络的能量函数,仅当每次最多只访问一个城市时取得极小值0。,第2项,2023/7/28,89,网络的能量函数,当且仅当所有的n个城市一共被访问n次时才取得最小值0。,第3项,2023/7/28,90,网络的能量函数,表示按照当前的访问路线的安排，所需要走的路径的总长度,第4项,2023/7/28,91,Hopfield网解决TSP问题,Hopfield网解决TSP问题时显示了它强大的计算能力，若对10个城市的TSP问题来说，可能存在 n!/2n=10!/20=181440条 它能从近20万条路线中选出最好的路线，显示它的计算能力。,