遗传算法、神经算法、退火算法、模糊算法.ppt

计算智能,计算智能,计算智能,智能：在给定任务或目的下，能根据环境条件制定正确的策略和决策，并能有效地实现其目的的过程或能力。信息：信息是用来消除观察者认识上的不确定性的度量。智能信息处理：利用各种智能手段进行信息变换的过程，这里的各种智能手段包括人工智能、机器智能和计算智能等。,计算智能,智能：有效地获取、传递、处理、再生和利用信息，使其在任意环境下成功地达到预定目标的能力。人工智能:研究如何用人工的方法模拟、延伸和扩展智能。,计算智能,人工智能的三个学派 符号主义学派 以知识为基础，通过推理来进行问题求解，功能模拟的方法。联接主义学派 始于1943年的M-P模型，1982年Hopfiled提出的用硬件模拟神经网络,BP算法，结构-功能模拟的方法。行为主义学派 进化主义或控制论学派，行为模拟的方法。,计算智能,计算智能 定义一：以数据为基础，以计算为手段来建立功能上的联系（模型），而进行问题求解，以实现对智能的模拟和认识。定义二：用计算科学与技术模拟人的智 能结构和行为。,计算智能,计算智能与软计算 计算智能是强调通过计算的方法来实现生物内在的智能行为。软计算是受智能行为启发的现代优化计算方法,强调计算和对问题的求解。,计算智能,软计算方法是指利用所允许的不精确性、不确定性和部分真实性得到易于处理、鲁棒性强和成本较低的解决方案,它区别于用精确、固定和不变的算法表达和解决问题的硬计算。软计算作为一种创建计算智能系统的新颖方法,正在引起人们的关注.目前已经认识到,复杂的实际问题需要智能系统对各种不同来源的知识、技术和方法进行组合.在解决实际计算问题时,协同地而不是互斥地采用几种计算技术通常具有优越性,所产生的系统被称为互补的混合智能系统。,计算智能,软计算不是一种单一的方法，而是多种方法的结合与协作，构成软计算的三个主要元素是模糊逻辑、神经计算和进化算法，这三者分别提供不同方面的能力，其中模糊逻辑主要处理非精确性和进行近似推理，神经网络使系统获得学习和适应的能力，进化算法则提供进行随机搜索和优化的能力。,1.神经网络,1.1 神经网络的发展历史,所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统。Nielsen的定义人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元具有局部内存，可以完成局部操作，即它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。每个处理单元有一个单一的输出联接，输出信号可以是任何需要的数学模型。,1.1 神经网络的发展历史,初始（萌发）期人工神经网络的兴起1943年，美国神经生理学家Warren Mcculloch和数学家Walter Pitts合写了一篇关于神经元如何工作的开拓性文章：“A Logical Calculus of Ideas Immanent in Nervous Acitivity”。该文指出，脑细胞的活动像断/通开关，这些细胞可以按各种方式相互结合，进行各种逻辑运算。1949年，心理学家Donala Hebb写了一本书：“The Organization of Behavior”。在该书中，他强调了心理学和生理学间的联系和沟通，指出脑细胞间的思路每当通过参与某种活动时将被加强，这就是后来的Hebb学习规则。,1.1 神经网络的发展历史,到了二十世纪50年代，随着计算机的发展和软硬件的进步，有些神经系统功能的理论开始在计算机上进行模拟，拓宽了研究的路子。IBM的研究室在Hebb工作的基础上，对神经网络的模型进行了软件模拟，虽然开始时失败了，但在使得模型像人那样适应环境的实验上取得了一定程度的成功。,1.1 神经网络的发展历史,第一次高潮期 感知器模型和人工神经网络1957年，计算机专家Frank Rosenblatt开始从事感知器的研究，并制成硬件，通常被认为是最早的神经网络模型。1959年，两位电机工程师Bernard Widrow和Marcian Haff开发出一种叫作自适应线性单元（ADALINE）的网络模型，并在他们的论文“Adaptive Switching Circuits”中描述了该模型和它的学习算法（Widrow-Haff算法）。该网络通过训练，可以成功用于抵消通信中的回波和噪声，也可用于天气预报，成为第一个用于实际问题的神经网络。,1.1 神经网络的发展历史,1962年，Rosenblatt出版了一本书“The Principles of Neurodynamics”，详述了他的感知器模型。该感知器具有输入层、输出层和中间层，通过实验可以模仿人的某些特性，并断言它可以学会任何它可以表示的功能。1967年，Stephen Grossberg通过对生理学的研究，开发了一种称作雪崩网的神经网络模型，可以控制机器人手臂的运动。在这一时期，由于感知器的某些进展和对神经网络的宣传，人们乐观地认为几乎已经找到了实现智能的关键。人们夸大了神经网络的潜力（有人甚至担心制造机器人的人类会很快受到机器人的攻击）,1.1 神经网络的发展历史,反思期 神经网络的低潮1969年，Marvin Minsky和Seymour Papert合著了一本书“Perception”，分析了当时的简单感知器，指出它有非常严重的局限性，甚至不能解决简单的“异或”问题，为Rosenblatt的感知器判了“死刑”。此时，批评的声音高涨，导致了停止对人工神经网络研究所需的大量投资。不少研究人员把注意力转向了人工智能，导致对人工神经网络的研究陷入低潮。,1.1 神经网络的发展历史,第二次高潮期 Hopfield网络模型的出现和人工神经网络的复苏1982年，John Hopfield向美国科学院递交了有关神经网络的报告，主要内容就是建议收集和重视以前对神经网络的工作，其中特别强调了每种模型的实用性。Hopfield揭示了以往的网络是如何工作的，可以做些什么，并提出了他自己的模型，能从失真的或不完善的数据图像中获得完整的数据图像，引起了美国军方的兴趣。当时，人工智能对自动制导车的研究失败，而利用神经网络有可能解决这个问题，从而使人们的注意力重新投向人工神经网络，导致了人工神经网络的第二次高潮。,1.1 神经网络的发展历史,1984年，Hopfield设计研制了后来被人们称为Hopfield网的电路，较好地解决了TCP问题，找到了最佳解的近似解，引起了较大轰动。1985年，Hinton、Sejnowsky、Rumelhart等研究者在Hopfield网络中引入随机机制，提出了所谓的Bolziman机。1986年，Rumelhart等研究者重新独立地提出多层网络的学习算法BP算法，较好地解决了多层网络的学习问题。1990年12月，国内首届神经网络大会在北京举行。,1.2 神经网络的基本概念,生物神经网络：Biological Neural Network（BNN）神经元：neuron神经元经突触传递信号给其他神经元（胞体或树突）1011个神经元/人脑104个连接/神经元神经元基本工作机制：状态：兴奋与抑制互联，激励，处理，阈值,1.2 神经网络的基本概念,人工神经元模型(MP模型)：多输入，单输出，带偏置R个输入piR，即R维输入矢量pn:net input,n=Wp+b。R个权值wiR，即R维权矢量w阈值b输出a=f(n),1.2 神经网络的基本概念,常用输出函数(1)阈值函数：,1.2 神经网络的基本概念,(2)线性输出函数:,1.2 神经网络的基本概念,(3)Sigmoid函数 特性：值域a(0,1)非线性，单调性无限次可微|n|较小时可近似线性函数|n|较大时可近似阈值函数,1.2 神经网络的基本概念,人工神经网络的拓扑结构(1)前向网络:,1.2 神经网络的基本概念,层次划分 信号只被允许从较低层流向较高层。层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。输入层：被记作第0层。该层负责接收来自网络外部的信息,1.2 神经网络的基本概念,第j层：第j-1层的直接后继层（j0），它直接接受第j-1层的输出。输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号,1.2 神经网络的基本概念,约定:输出层的层号为该网络的层数：n层网络，或n级网络。第j-1层到第j层的联接矩阵为第j层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用W（j）表示第j层矩阵,1.2 神经网络的基本概念,(2)反馈互连网络,1.2 神经网络的基本概念,如果将输出信号反馈到输入端,就可构成一个多层的循环网络。输入的原始信号被逐步地“加强”、被“修复”。大脑的短期记忆特征看到的东西不是一下子就从脑海里消失的。稳定：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。,1.3 人工神经网络的训练,人工神经网络最具有吸引力的特点是它的学习能力。人工神经网络的学习过程就是对它的训练过程。有导师学习、无导师学习。,1.3 人工神经网络的训练,有导师学习 有导师学习(Supervised Learning)与有导师训练(Supervised Training)相对应。输入向量与其对应的输出向量构成一个“训练对”。有导师学习的训练算法的主要步骤包括：1）从样本集合中取一个样本（Xi，Yi）；2）计算出网络的实际输出O；3）求D=Yi-O；4）根据D调整权矩阵W；5）对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。,1.3 人工神经网络的训练,Wij(t+1)=Wij(t)+Wij(t)Wij(t)=jxi(t)j=yj-oj(t),1.3 人工神经网络的训练,无导师学习Hebb学习律、竞争与协同（Competitive and Cooperative）学习、随机联接系统（Randomly Connected Learning）等。Hebb算法D.O.Hebb在1961年的核心：当两个神经元同时处于激发状态时被加强，否则被减弱。数学表达式表示：Wij（t+1）=Wij（t）+xi（t）oj（t）,1.3 人工神经网络的训练,存储与映射CAM方式（Content Addressable Memory）内容寻址方式是将数据映射到地址。AM方式（Associative Memory）相联存储方式是将数据映射到数据。在学习/训练期间，人工神经网络以CAM方式工作；权矩阵又被称为网络的长期存储。网络在正常工作阶段是以AM方式工作的；神经元的状态表示的模式为短期存储。,1.4 感知器,McCulloch 和Pitts 1943年，发表第一个系统的ANN研究阈值加权和(M-P)数学模型。,1.4 感知器,感知器的学习是有导师学习 基本思想：逐步地将样本集中的样本输入到网络中,根据输出结果和理想输出之间的差别来调整网络中的权矩阵,1.4 感知器,感知器训练算法 样本集：(X,Y)|Y为输入向量X对应的输出 输入向量：X=(x1,x2,xn)理想输出向量：Y=(y1,y2,ym)激活函数：F 权矩阵W=(wij)实际输出向量：O=(o1,o2,om),1.4 感知器,1.初始化权矩阵W；2.重复下列过程，直到训练完成：2.1 对每个样本（X，Y），重复如下过程：2.1.1 输入X；2.1.2 计算O=F（XW）；2.1.3 for j=1 to m do 执行如下操作：wij=wij+（yj-oj）xi,1.4 感知器,算法思想：将单输出感知器的处理逐个地用于多输出感知器输出层的每一个神经元的处理。第1步，权矩阵的初始化：一系列小伪随机数。,1.4 感知器,第2步，循环控制。方法1：循环次数控制法：对样本集执行规定次数的迭代改进分阶段迭代控制：设定一个基本的迭代次数N，每当训练完成N次迭代后，就给出一个中间结果,1.4 感知器,方法2：精度控制法：给定一个精度控制参数精度度量：实际输出向量与理想输出向量的对应分量的差的绝对值之和；实际输出向量与理想输出向量的欧氏距离的和“死循环”：网络无法表示样本所代表的问题,1.4 感知器,方法3：综合控制法：将这两种方法结合起来使用 注意：精度参数的设置。根据实际问题选定；初始测试阶段，精度要求低，测试完成后，再给出实际的精度要求。,1.4 感知器,Minsky在1969年证明，有许多基本问题是感知器无法解决 问题线性可分性可能与时间有关 很难从样本数据集直接看出问题是否线性可分,1.5 BP网络,网络的构成 神经元的网络输入：neti=x1w1i+x2w2i+xnwni神经元的输出：,1.5 BP网络,应该将net的值尽量控制在收敛比较快的范围内 可以用其它的函数作为激活函数，只要该函数是处处可导的,1.5 BP网络,网络的拓扑结构,1.5 BP网络,BP网的结构输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的决定实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。BP网一般都选用二级网络。,1.5 BP网络,1.5 BP网络,训练过程概述权初始化：“小随机数”与饱和状态；“不同”保证网络可以学。1、向前传播阶段：（1）从样本集中取一个样本(Xp，Yp)，将Xp输入网络；（2）计算相应的实际输出Op：Op=Fl(F2(F1(XpW(1)W(2)W(L),1.5 BP网络,2、向后传播阶段误差传播阶段：（1）计算实际输出Op与相应的理想输出Yp的差；（2）按极小化误差的方式调整权矩阵。（3）网络关于第p个样本的误差测度：,（4）网络关于整个样本集的误差测度：,1.5 BP网络,误差传播分析1、输出层权的调整,wpq=wpq+wpqwpq=qop=fn(netq)(yq-oq)op=oq(1-oq)(yq-oq)op,1.5 BP网络,2、隐藏层权的调整,1.5 BP网络,pk-1的值和1k，2k，mk 有关不妨认为pk-1通过权wp1对1k做出贡献，通过权wp2对2k做出贡献，通过权wpm对mk做出贡献。pk-1=fk-1(netp)(wp11k+wp22k+wpmm k),1.5 BP网络,vhp=vhp+vhp vhp=pk-1ohk-2=fk-1(netp)(wp11k+wp22k+wpmmk)ohk-2=opk-1(1-opk-1)(wp11k+wp22k+wpmmk)ohk-2,1.5 BP网络,基本的BP算法(算法1)样本集：S=(X1,Y1),(X2,Y2),(Xs,Ys)基本思想：逐一地根据样本集中的样本(Xk,Yk)计算出实际输出Ok和误差测度E1，对W(1)，W(2)，W(L)各做一次调整，重复这个循环，直到Ep。用输出层的误差调整输出层权矩阵，并用此误差估计输出层的直接前导层的误差，再用输出层前导层误差估计更前一层的误差。如此获得所有其它各层的误差估计，并用这些估计实现对权矩阵的修改。形成将输出端表现出的误差沿着与输入信号相反的方向逐级向输入端传递的过程,1.5 BP网络,1 for k=1 to L do1.1 初始化W(k)；2 初始化精度控制参数；3 E=+1;4 while E do 4.1 E=0;,1.5 BP网络,4.2 对S中的每一个样本（Xp,Yp）：4.2.1 计算出Xp对应的实际输出Op；4.2.2 计算出Ep；4.2.3 E=E+Ep；4.2.4 根据相应式子调整W(L)；4.2.5 k=L-1；4.2.6 while k0 do 4.2.6.1 根据相应式子调整W(k)；4.2.6.2 k=k-1 4.3 E=E/2.0,1.5 BP网络,算法的改进1、BP网络接受样本的顺序对训练结果有较大影响。它更“偏爱”较后出现的样本2、给集中的样本安排一个适当的顺序，是非常困难的。3、样本顺序影响结果的原因：“分别”、“依次”4、用(X1,Y1)，（X2,Y2），（Xs,Ys）的“总效果”修改W(1)，W(2)，W(L)。w(k)ij=p w(k)ij,1.5 BP网络,消除样本顺序影响的BP算法(算法2)1 for k=1 to L do1.1 初始化W(k)；2 初始化精度控制参数；3 E=+1;4 while E do 4.1 E=0;4.2 对所有的i，j，k：w(k)ij=0；,1.5 BP网络,4.3 对S中的每一个样本（Xp,Yp）：4.3.1 计算出Xp对应的实际输出Op；4.3.2 计算出Ep；4.3.3 E=E+Ep；4.3.4 对所有i，j根据相应式子计算p w(L)ij；4.3.5 对所有i，j：w(L)ij=w(L)ij+p w(L)ij；4.3.6 k=L-1；4.3.7 while k0 do4.3.7.1 对所有i,j根据相应式子计算p w(k)ij；4.3.7.2 对所有i,j：w(k)ij=w(k)ij+p w(k)ij；4.3.7.3 k=k-1 4.4 对所有i，j，k：w(k)ij=w(k)ij+w(k)ij;4.5 E=E/2.0,1.5 BP网络,算法2 分析较好地解决了因样本的顺序引起的精度问题和训练的抖动问题 收敛速度：比较慢偏移量：给每一个神经元增加一个偏移量来加快收敛速度 冲量：联接权的本次修改要考虑上次修改的影响，以减少抖动问题,1.5 BP网络,冲量设置Rumelhart等人1986年wij=joi+wijwij为上一次的修改量，为冲量系数，一般可取到0.9 Sejnowski与Rosenberg，1987年wij=(1-)joi+wij)wij也是上一次的修改量，在0和1之间取值,1.5 BP网络,算法的实现主要数据结构WH，m输出层的权矩阵；Vn，H输入（隐藏）层的权矩阵；om输出层各联接权的修改量组成的向量；hH隐藏层各联接权的修改量组成的向量；O1隐藏层的输出向量；O2输出层的输出向量；(X，Y)一个样本。,1.5 BP网络,算法的主要实现步骤用不同的小伪随机数初始化W，V；初始化精度控制参数；学习率；循环控制参数E=+1；循环最大次数M；循环次数控制参数N=0；while E&NM do 4.1 N=N+1；E=0；4.2 对每一个样本(X,Y)，执行如下操作,1.5 BP网络,4.2.1 计算：O1=F1(XV)；O2=F2(O1W)；4.2.2 计算输出层的权修改量 for i=1 to m4.2.2.1 oi=O2 i*(1-O2 i)*(Yi-O2 i)；4.2.3 计算输出误差：for i=1 to m 4.2.3.1 E=E+(Yi-O2 i)2；,1.5 BP网络,4.2.4 计算隐藏层的权修改量：for i=1 to H4.2.4.1 Z=0；4.2.4.2 for j=1 to m do Z=Z+Wi,j*oj；4.2.4.3 hi=Z*O1 i(1-O1 i)；4.2.5 修改输出层权矩阵：for k=1 to H&i=1 to m4.2.5.1 Wk,i=Wk,i+*O1k*oi；4.2.5 修改隐藏层权矩阵：for k=1 to n&i=1 to H4.2.5.1 Vk,i=Vk,i+*Xk*hi；,1.5 BP网络,几个问题的讨论网络瘫痪问题 在训练中，权可能变得很大，这会使神经元的网络输入变得很大，从而又使得其激活函数的导函数在此点上的取值很小。根据相应式子，此时的训练步长会变得非常小，进而将导致训练速度降得非常低，最终导致网络停止收敛 稳定性问题 用修改量的综合实施权的修改连续变化的环境，它将变成无效的,1.5 BP网络,步长问题 BP网络的收敛是基于无穷小的权修改量步长太小，收敛就非常慢步长太大，可能会导致网络的瘫痪和不稳定自适应步长，使得权修改量能随着网络的训练而不断变化。1988年，Wasserman,1.6 SOM网络,在对人类的神经系统及脑的研究中，人们发现：人脑的某些区域对某种信息或感觉敏感，如人脑的某一部分进行机械记忆特别有效；而某一部分进行抽象思维特别有效。这种情况使人们对大脑的作用的整体性与局部性特征有所认识。对大脑的研究说明，大脑是由大量协同作用的神经元群体组成的。大脑的神经网络是一个十分复杂的反馈系统；在这个系统含有各种反馈作用，有整体反馈，局部反馈；另外，还有化学交互作用。在大脑处理信息的过程中，聚类是其极其重要的功能。大脑通过聚类过程从而识别外界信号，并产生自组织过程。,1.6 SOM网络,SOM是由芬兰赫尔辛基大学神经网络专家Kohonen教授在1981年提出的竞争式神经网络，它模拟大脑神经系统自组织特征映射的功能，在训练中能无监督地进行自组织学习。由于它的强大功能，多年来，网络在数据分类、知识获取、过程监控、故障识别等领域中得到了广泛应用。,1.6 SOM网络,SOM的基础:尽管大脑具有大量的细胞，但生物学研究表明作用并不同。在空间中处于不同位置的脑细胞控制着人体不同部位的运动。同样，处于不同区域的脑细胞对来自某一方面的刺激信号的敏感程度也不一样。这种特定细胞对特定信号的特别反映能力似乎是由后来的经历和训练形成的。Kohonen根据人脑的这一原理提出了自组织映射。,1.6 SOM网络,以发出信号的神经元为圆心，对近邻的神经元的交互作用表现为兴奋性侧反馈；以发出信号的神经元为圆心，对远邻的神经元的交互作用表现为抑制性侧反馈。“强者占先、弱者退出”,1.6 SOM网络,SOM网络组成 SOM神经网络由输入层和竞争层组成。输入层由n个神经元组成，竞争层由h个神经元组成。为可视化表示结果，常将M表示为一个二维平面阵列h=s*t，当然,一维或多维也是允许的。,1.6 SOM网络,1.6 SOM网络,二维阵列神经网络由输入层和竞争层组成。输入层是一维的神经元。竞争层是二维的神经元。输入层的神经元和二维阵列竞争层的神经元每个都相互连接。二维阵列竞争层也称输出层。在二维阵列竞争层中，可以清楚看出：每一个输出神经元都和最近相邻的8个神经元相连；当然，最边沿的神经元和35个神经元相连，但这只是最边沿的神经元才会这样。而从二维阵列内部一般有：每个输出神经元和8个最相邻的神经元相连。,1.6 SOM网络,X(x1，x2，xn)是外部输入信号；Wij 是输入神经元i到输出神经元j之间权系数。在SOM模型中，对于输出神经元j，它的外部输入信号可以用knetj表示：knetj=XWj=(x1，x2，xn)(w1j，w2j，wnj)T=w1j x1+w2j x2+wnj xn,1.6 SOM网络,输出神经元K1，K2，Kh的输出Y1，Y2，Yh构成向量 Y=(Y1，Y2，Yh)1jh1knetj=Max knet1，knet2，kneth Yj=0其它,1.6 SOM网络,神经元在自适应过程中所形成的“气泡”，在本质上是产生和输入模式对于表示形态。而这种“气泡”是以特定的神经元c为中心的，并且是以一定半径所包围的神经元子集Nc，如果令 Yj(0,1),1.6 SOM网络,这在实质上要求神经元在所给定的半径范围之内的Nc子集中时，则其输出为1；而在子集Nc之外时，则其输出为0。同时，系数在神经元处于Nc之内时，取值为；否则取值为0。,1.6 SOM网络,SOM模型学习的具体步骤 一、权系数初始化 对于有n个输入神经元，P个输出神经元的SOM网络，对连接输入神经元和输出神经元之间的权系数设定为小的随机数a，一般有：0a1 同时，设定邻近区域的初始半径。,1.6 SOM网络,二、给出一个新的输入模式Xk Xk=X1k,X2k,.Xnk k=1,2,.三、求模式Xk和所有的出神经元的距离 对于输出神经元j，它和特定的输入模式Xk之间的距离用djk表示，并且有,1.6 SOM网络,四、选择最优匹配的输出神经元C 和输入模式Xk的距离最小的神经元就是最优匹配的输出神经元c。用Wc表示神经元C对输入神经元的权系数向量，则应有,1.6 SOM网络,五、修正权系数 根据设定的邻近区域，或递减变小后的区域，对区域Nc中的神经元进行权系数修正。修正按下式执行 Wij(t+1)=Wij(t)+(t)Xi(t)-Wij(t)对于区域Nc外的神经元，其权系数不变，即有 Wij(t+1)=Wij(t)其中，(t)是递减的增益函数，并且有0(t)1。通常取：,1.6 SOM网络,六、对于不同的t1，2，z(500z10000)，重新返回第2步去执行。停止条件也可以用(t)小于一个事先给定的值,1.6 SOM网络,在自组织特征映射模型的学习中，当Nc不止包含一个神经元时，这种竞争学习实际上是泄漏竞争学习。在学习中，增益函数(t)也即是学习率。由于学习率(t)随时间的增加而渐渐趋向零因此，保证了学习过程必然是收敛的。自组织特征映射网络的学习是一种无教师的学习，输人信号模式是环境自行给出的，而不是人为给出的。,1.6 SOM网络,SOM网络学习的不足有如下二点：第一，当输入模式较少时，分类结果依赖于模式输入的先后次序。第二，和ART网络不一样，SOM网络在没有经过完整的重新学习之前，不能加入新的类别。Kohonen已经证明：在学习结束时每个权系数向量wj都近似落入到由神经元j所对应的类别的输入模式空间的中心，可以认为权系数向量wj形成了这个输入模式空间的概率结构。所以，权系数向量Wj可作为这个输入模式的最优参考向量。自组织特征映射网络由于有上述作用，所以很适宜用于数据的量化；故也称作学习向量量化器。,1.7 Hopfield网络,反馈神经网络是得到最充分研究和应用的神经网络模型之一。Hopfield为这一网络引入了一种稳定过程，即提出了人工神经网络能量函数的概念，使网络的运行稳定性判断有了可靠而简便的依据。Hopfield网络在联想存取及优化计算等领域得到了成功的应用，拓宽了神经网络的应用范围.,1.7 Hopfield网络,Hopfield最早提出的网络是二值神经网络，神经元的输出只取1和0这两个值，所以，也称离散Hopfield神经网络。在离散HopfieId网络中，所采用的神经元是二 值神经元，故而所输出的离散值1和0分别表示神经元处于激活和抑制状态。,1.7 Hopfield网络,1.7 Hopfield网络,第0层仅仅是作为网络的输人，它不是实际神经元，所以无计算功能；一层是实际神经元，故而执行对输人信息和权系数乘积求累加和，并由非线性f处理后产生输出信息。f是一个简单的阀值函效，如果神经元的输出信息大于，那么，神经元的输出就取值为1；小于阀值，则神经元的输出就取值为0。,1.7 Hopfield网络,神经元的网络输入：,阈值函数：oj=,1if netjj,0if netjj,ojif netj=j,1.7 Hopfield网络,对于一个离散的Hopfield网络，其网络状态是输出神经元信息的集合。对于一个输出层是n个神经元的网络，则其t时刻的状态为一个n维向量：Y(t)=y1(t),y2(t),.,yn(t)故而，网络状态有2n个状态；因为yj(t)(j1n)可以取值为1或0，故n维向量Y(t)有2n种状态，即是网络状态。,1.7 Hopfield网络,对于三个神经元的离散Hopfield网络，它的输出层就是三位二进制数，每一个三位二进制数就是一种网络状态，从而共有8个网络状态。,1.7 Hopfield网络,对于一个由n个神经元组成的离散Hopfield网络，则有nn权系数矩阵w：W=Wiji=1,2,.,n；j=1,2,.,n 同时，有n维阀值向量：=1,2,.n 一船而言，w和可以确定一个唯一的离散Hopfield网络。如果Hopfield网络是一个稳定网络，那么在网络的输入端加入一个输入向量，则网络的状态会产生变化，也就是从超立方体的一个顶角转移向另一个顶角，并且最终稳定于一个特定的顶角。,1.7 Hopfield网络,考虑离散Hopfield网络的一般节点状态；用yj(t)表示第j个神经元，即节点j在时刻t的状态，则节点的下一个时刻(t+1)的状态可以求出如下：,1.7 Hopfield网络,从离散的Hopfield网络可以看出：它是一种多输入，含有阀值的二值非线性动 力系统。在动力系统中，平衡稳定状态可以理解为系统的某种形式的能量函数在系 统运动过程中，其能量值不断减小，最后处于最小值。,1.7 Hopfield网络,当Wij在ij时等于0，则说明一个神经元的输出并不会反馈到它自己的输入，这时，离散的Hopfield网络称为无自反馈网络。当Wij在ij时不等于0，则说明个神经元的输出会反馈到它自己的输入，这时，离散的Hopfield网络称为有自反馈的网络。,1.7 Hopfield网络,离散Hopfield网络有二种不同的工作方式：1、串行(异步)方式 在时刻t时，只有某一个神经元j的状态产生变化，而其它n-1个神经元的状态 变，这时称串行工作方式。,1.7 Hopfield网络,2、并行(同步)方式 在任一时刻t，所有的神经元的状态都产生了变化；则称并行工作方式。,1.7 Hopfield网络,稳定性 对于离散Hopfield网络，其状态为Y(t)：Y(t)=y1(t),y2(t),.,yn(t)如果，对于任何t0当神经网络从t0开始，有初始状态Y(0)；经过有限时刻t，有：Y(t+t)=Y(t)则称网络是稳定的。,1.7 Hopfield网络,对Hopfield网络引入一个Lyapunov函数，即所谓能量函数：,1.7 Hopfield网络,1.7 Hopfield网络,1.7 Hopfield网络,1.7 Hopfield网络,1.7 Hopfield网络,Coben和Grossberg在1983年给出了关于Hopfield网络稳定的充分条件，他们指出：如果Hopfield网络的权系数矩阵w是一个对称矩阵，并且，对角线元素为0则这个网络是稳定的。即是说在权系数矩阵W中，如果 i=j时，Wij=0；ij时，Wij=Wji 则Hopfield网络是稳定的。这是Hopfield网络稳定的充分条件，而不是必要条件。在实际中有很多稳定的Hopfield网络，但是它们并不满足权系数，矩阵w是对称矩阵这一条,1.7 Hopfield网络,连续Hopfield网络 连续Hopfield网络的拓朴结构和离散Hopfield网络的结构相同。在连续Hopfield网络中，和离散Hopfield网络一样，其稳定条件也要求Wij=Wji。连续Hopfield网络和离散Hopfield网络不同的地方在于其函数g不是阶跃函数，而是S形的连续函数。一般取 g(u)=1/(1+e-u),1.7 Hopfield网络,考虑对于一个神经细胞，即神经元j，其内部膜电位状态用uj表示细胞膜输入电容为Cj，细胞膜的传递电阻为Rj，输出电压为Vj，外部输入电流用Ij表示，,1.7 Hopfield网络,其中：n是神经网络神经元的个数Vj(t)为输出电位；Uj(t)为输入电位。,1.7 Hopfield网络,能量函数E(t)其中：g-1(v)是Vj(t)gj(uj(t)的反函数。,1.7 Hopfield网络,Hopfield网解决TSP问题1985年，J.J.Hopfield和D.W.Tank用循环网求解TSP。试验表明，当城市的个数不超过30时，多可以给出最优解的近似解。而当城市的个数超过30时，最终的结果就不太理想了 n个城市间存在n!/(2n)条可能路径 设问题中含有n个城市,用n*n个神经元构成网络,1.7 Hopfield网络,dxy城市X与城市Y之间的距离；yxi城市X的第i个神经元的状态：1城市X在第i个被访问yxi=0城市X不在第i个被访问wxi,yj城市X的第i个神经元到城市Y的第j个神经元的连接权。,1.7 Hopfield网络,例如：四个城市X、Y、Z、W,1.7 Hopfield网络,1.7 Hopfield网络,1.7 Hopfield网络,仅当所有的城市最多只被访问一次时取得极小值0。,A、B、C、D为惩罚因子,第1项,1.7 Hopfield网络,仅当每次最多只访问一个城市时取得极小值0。,第2项,1.7 Hopfield网络,当且仅当所有的n个城市一共被访问n次时才取得最小值0。,第3项,1.7 Hopfield网络,表示按照当前的访问路线的安排，所需要走的路径的总长度,第4项,1.7 Hopfield网络,求解TSP问题的网络方程：,2.模糊计算,2.1 模糊集的基本概念,模糊数学是研究和处理模糊性现象的数学方法。“大胡子高个子的中年男人”.尽管这里只提供了一个精确信息男人，而其他信息大胡子、高个子中年等都是模糊概念。模糊数学在实际中的应用几乎涉及到国民经济的各个领域及部门，农业、林业、气象、环境、地质勘探、医学、经济管理等方面都有模糊数学的广泛而又成功的应用。,2.1模糊理论的数学基础,经典集合具有两条基本属性：元素彼此相异，即无重复性；范围边界分明,即一个元素x要么属于集合A(记作xA),要么不属于集合(记作xA)，二者必居其一.,集合的表示法：(1)枚举法，A=x1,x2,xn；(2)描述法，A=x|P(x).AB 若xA，则xB；AB 若xB，则xA；A=B AB且 AB.,2.1模糊理论的数学基础,集合A的所有子集所组成的集合称为A的幂集，记为(A).,并集AB=x|xA或xB；交集AB=x|xA且xB；余集Ac=x|xA.,2.1模糊理论的数学基础,集合的运算规律 幂等律：AA=A，AA=A；交换律：AB=BA，AB=BA；结合律：(AB)C=A(BC)，(AB)C=A(BC)；吸收律：A(AB)=A，A(AB)=A；,2.1模糊理论的数学基础,映射,映射 f：X Y集合A的特征函数：,2.1模糊理论的数学基础,特征函数满足：,取大运算,如23=3,取小运算,如23=2,2.1模糊理论的数学基础,X Y 的子集 R 称为从 X 到 Y 的二元关系，特别地，当 X=Y 时，称之为 X 上的二元关系.二元关系简称为关系.若(x,y)R，则称 x 与 y 有关系，记为R(x,y)=1；若(x,y)R，则称 x 与 y 没有关系，记为R(x,y)=0.映射 R:X Y 0,1实际上是 X Y 的子集R上的特征函数.,二元关系,2.1模糊理论的数学基础,关系的矩阵表示法,设X=x1,x2,xm,Y=y1,y2,yn，R为从 X 到 Y 的二元关系，记rij=R(xi,yj)，R=(rij)mn，则R为布尔矩阵(Boole)，称为R的关系矩阵.布尔矩阵(Boole)是元素只取0或1的矩阵.,关系的合成,设 R1 是 X 到 Y 的关系,R2 是 Y 到 Z 的关系,则R1与 R2的合成 R1 R2是 X 到 Z 上的一个关系.,(R1R2)(x,z)=R1(x,y)R2(y,z)|yY,2.2 模糊集的基本概念,模糊子集与隶属函数,设U是论域，称映射A(x)：U0,1确定了一个U上的模糊子集A，映射A(x)称为A的隶属函数，它表示x对A的隶属程度.当映射A(x)只取0或1时，模糊子集A就是经典子集，而A(x)就是它的特征函数.可见经典子集就是模糊子集的特殊情形.,2.2 模糊集的基本概念,例 设论域U=x1(140),x2(150),x3(160),x4(170),x5(180),x6(190)(单位：cm)表示人的身高，那么U上的一个模糊集“高个子”(A)的隶属函数A(x)可定义为,也可用Zadeh表示法：,2.2 模糊集的基本概念,2.2 模糊集的基本概念,2.2 模糊集的基本概念,模糊集的运算,相等：A=B A(x)=B(x)；包含：AB A(x)B(x)；并：AB的隶属函数为(AB)(x)=A(x)B(x)；交：AB的隶属函数为(AB)(x)=A(x)B(x)；余：Ac的隶属函数为Ac(x)=1-A(x).,2.2 模糊集的基本概念,例 设论域U=x1,x2,x3,x4,x5(商品集)，在U上定义两个模糊集：A=“商品质量好”，B=“商品质量坏”，并设,A=(0.8,0.55,0,0.3