基于人工神经网络的建模设计方法ppt课件.ppt

《基于人工神经网络的建模设计方法ppt课件.ppt》由会员分享，可在线阅读，更多相关《基于人工神经网络的建模设计方法ppt课件.ppt（86页珍藏版）》请在三一办公上搜索。

1、第三章 基于人工神经网络的建模 设计方法,人工神经网络简介BP网络反馈式神经网络人工神经网络应用,3.1人工神经网络简介,人工神经网络: 采用物理可实现的系统来模仿人脑神经细胞的结构和功能的系统。研究神经网络目的：用计算机代替人的脑力劳动。 计算机速度为纳秒级，人脑细胞反应时间是毫秒级。而计算机不如人。 长期以来人类的梦想，机器既能超越人的计算能力，又有类似于人的识别、分析、联想等能力。,10 billion neurons in human brainSummation of input stimuliSpatial (signals)Temporal (pulses)Threshold o

2、ver composed inputsConstant firing strength,billion synapses in human brainChemical transmission and modulation of signalsInhibitory synapsesExcitatory synapses,神经网路的复杂多样，不仅在于神经元和突触的数量大、组合方式复杂和联系广泛，还在于突触传递的机制复杂。现在已经发现和阐明的突触传递机制有：突触后兴奋，突触后抑制，突触前抑制，突触前兴奋，以及“远程”抑制等等。在突触传递机制中，释放神经递质是实现突触传递机能的中心环节，而不同的神经

3、递质有着不同的作用性质和特点,神经系统活动，不论是感觉、运动，还是脑的高级功能（如学习、记忆、情绪等）都有整体上的表现，面对这种表现的神经基础和机理的分析不可避免地会涉及各种层次。这些不同层次的研究互相启示，互相推动。在低层次（细胞、分子水平）上的工作为较高层次的观察提供分析的基础，而较高层次的观察又有助于引导低层次工作的方向和体现其功能意义。既有物理的、化学的、生理的、心理的分门别类研究，又有综合研究。,概述,发展史1890年，美国生物学家W.James出版了Physiology（生理学）一书。首次阐明了有关人脑结构及其功能，以及相关学习、联想、记忆的基本规律。指出：人脑中当两个基本处理单元

4、同时活动，或两个单元靠得比较近时，一个单元的兴奋会传到另一个单元。而且一个单元的活动程度与他周围的活动数目和活动密度成正比。图,1943年McCulloch（心理学家）和Pitts（数理逻辑学家）发表文章，提出M-P模型。描述了一个简单的人工神经元模型的活动是服从二值（兴奋和抑制）变化的。总结了神经元的基本生理特性，提出了神经元的数学描述和网络的结构方法。标志神经计算时代的开始 输出表达式 图,MP模型的意义：M-P模型能完成一定的逻辑运算 第一个采用集体并行计算结构来描述人工神经元和网络工作。 为进一步的研究提供了依据 （可以完成布尔逻辑计算）,1949年Donala U.Hebb（心理学家

5、）论著The Organization of Behavior（行为自组织），提出突触联系强度可变的假设，认为学习的过程最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化。赫布规则 多用于自组织网络的学习。即：若两个神经元输出兴奋，则它们之间的连接权加强，反之减少。,赫布规则意义（提出了变化的概念）提出了一个神经网络里信息是储藏在突触连接的权中的概念 连接权的学习律是正比于两个被连接神经细胞的活动状态值的乘积 假设权是对称的 细胞的互相连接的结构是他们权的改变创造出来的,1957年Frank Rosenblatt定义了一个神经网络结构，称为感知器(Perceptron

6、) 。 规则学习意义：第一次把神经网络研究从纯理论的探讨推向工程实现，在IBM704计算机上进行了模拟，证明了该模型有能力通过调整权的学习达到正确分类的结果。掀起了神经网络研究高潮。,1969M.Minsky和S. Papert发表了Perceptrons的论著，指出感知器仅能解决一阶谓词逻辑，只能做线性划分。对于非线性或其他分类会遇到很大困难。一个简单的XOR问题的例子就证明了这一点。神经网络研究一度达到低潮。原因还有：计算机不够发达、VLSI还没出现、而人工智能和专家系统正处于发展高潮。图 能划分的、不能划分的,七十年代,据说全球只有几十个人在研究，但还是成功的。如：日本Fukusima的

7、Neocognitron； 芬兰Kohonen的自组织神经网络；Stephen Crossberg的共振自适应理论ART网络等 。,1982年John J. Hopfield（物理学家）提出了全联接网络，离散的神经网络模型。全新的具有完整理论基础的神经网络模型。基本思想是对于一个给定的神经网络，对于一个能量函数，这个能量函数是正比于每一个神经元的活动值和神经元之间的联接权。而活动值的改变算法是向能量函数减少的方向进行，一直达到一个极小值为止。证明了网络可达到稳定的离散和连续两种情况。年后AT&T等做出了半导体芯片。神经网络复兴时期开始。,1986年美国的一个平行计算研究小组提出了前项反馈神经网

8、络的Back Propagation（BP）学习算法。成为当今应用最广泛的方法之一。该方法克服了感知器非线性不可分类问题，给神经网络研究带来了新的希望。,1987年在美国召开了第一届世界神经网络大会1000人参加。IJCNN等大会Neural Computing, IEEE Neural Network 等期刊,概述,人工智能与神经网络共同之处：研究怎样使用计算机来模仿人脑工作过程。学习实践再学习再实践 。不同之处：人工智能研究人脑的推理、学习、思考、规划等思维活动，解决需人类专家才能处理的复杂问题。神经网络企图阐明人脑结构及其功能，以及一些相关学习、联想记忆的基本规则（联想、概括、并行搜索、

9、学习和灵活性）,概述,例如：人工智能专家系统是制造一个专家，几十年难以培养的专家。神经网络是制造一个婴儿，一个幼儿，一个可以学习，不断完善，从一些自然知识中汲取智慧的生命成长过程。 同样是模仿人脑，但所考虑的角度不同。成年人和婴儿。学习过程不一样。一个是总结出常人都不懂得规律；一个是没完没了向他出示、重复一样东西，就象教一个小孩子说话。,概述,神经元模型,神经元每一个细胞处于两种状态。突触联接有强度。多输入单输出。实质上传播的是脉冲信号，信号的强弱与脉冲频率成正比。,转移函数：神经细胞的输出对输入的反映。典型的转移函数是非线性的。,人脑神经网络：人脑中约有亿个神经细胞，根据Stubbz的估计这

10、些细胞被安排在约个主要模块内，每个模块上有上百个神经网络，每个网络约有万个神经细胞。,网络模型,前馈网络：每层只与前层相联接,输入输出有反馈的前馈网络：输出层上存在一个反馈回路，将信号反馈到输入层。而网络本身还是前馈型的,前馈内层互联网络：外部看还是一个前向网络，内部有很多自组织网络在层内互联着。,反馈型全互联网络：所有计算单元之间都有联接。如：Hopfield网络 反馈型局部联接网络：特例，每个神经元的输出只与其周围的神经元相连，形成反馈网络。,网络分类,分类前馈型；反馈型；自组织竞争；随机网络其它,基本属性,基本属性：非线性：非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工

11、神经元处于激活或抑制两种不同的状态。这种行为在数学上表现为一种非线性。 非局域性：一个神经网络通常由多个神经元广泛联接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互联接所决定。通过单元之间的大量联接模拟大脑的非局域性。联想记忆是非局域性的典型例子。,非定常性：人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息有各种各样，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。 非凸性：一个系统的演化方向，在一定条件下，将取决于某个特定的状态函数，如能量函数，它的极值相应于系统比较稳定的状态。非凸性

12、是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。,优缺点,评价优点：并行性；分布存储；容错性；学习能力 缺点：不适合高精度计算；学习问题没有根本解决，慢；目前没有完整的设计方法，经验参数太多。,3.2 BP网络,前馈型神经网：最初称之为感知器。应用最广泛的一种人工神经网络模型，最要原因是有BP学习方法。前馈网络结构是分层的，信息只能从下一层单元传递到相应的上一层单元。上层单元与下层所有单元相联接。转移函数可以是线性阈值的。,BP神经网络,前馈型神经网,基本原理，结构简单。很少在实际应用中出现。采用阶跃函数作为传递函数。从维空间可以很显然的看出其分类功能，但Min

13、sky等揭示的致命弱点也一目了然。关键是学习算法及网络设计方法：输出yi等于：,(1),其中,前馈型神经网单层感知器,线性可分与不可分如果输入x有k个样本，xp, p=1, 2, , k, xRn当将这些样本分别输入到单输出的感知器中，在一定的和下，输出有两种可能+1或-1。把样本xp看作为在n维状态空间中的一个矢量，那么k个样本为输入空间的k个矢量。而方程（1）就是把这个n维空间分为SA、SB两个子空间，其分界线为n-1维的超平面。即用一个单输出的感知器通过调整参数及来达到k个样本的正确划分。 如：.,前馈型神经网单层感知器,.,则存在一组权值wij使得公式(1)满足:,则称样本集为线性可分

14、的，否则为线性不可分的。,前馈型神经网单层感知器,例子：2维空间,希望找到一根直线，把A, B两类样本分开，其分界线为:,解有无数个。,单层感只能解决线性可分类的样本的分类问题。如样本不能用一个超平面分开，就会产生当年Minsky等提出的不可分问题。,二维输入感知器及其在状态空间中的划分,前馈型神经网,多层感知器 多层感知器的输入输出关系与单层感知器完全相同。前一层的输出是下一层的输入。也被称为BP网络。,前馈型神经网,多层感知器 采用BP算法学习时要求传递函数为有界连续可微函数如sigmoid函数。因此，网络可以用一个连续的超曲面（而不仅仅是一个超平面）来完成划分输入样本空间的功能。先求误差

15、，用梯度下降的方法求误差的传递。从后往前算。,多层感知器 n层网络可以以n-1个超曲面构成一个符合曲面，弥补了单层感知器的缺陷。基于BP算法，依据大量样本通过逐步调整神经元之间的联接权重来构造网络。理论上，多层前馈网络在不考虑结果规模的前提下，可以模拟任意的输出函数。,Multi-Layer Perceptron,输出层,输入层,中间层/隐层,Output vector,Input vector: xi,wij,Algorithm: Backpropagation (cont.),训练终止条件:所有 wij 小于一个给定值或者 前一周期错误识别率小于一个给定值或者 训练周期完成X1 w46X2

16、X3 w56,An example,Initial input, weight and bias valuesThe net input and output calculationsUnit j Net input, Ij Output Oj4 0.2+0-0.5-0.4=-0.7 1/(1+ e0.7)=0.3325 -0.3+0+0.2+0.2=0.1 1/(1+e-0.1)=0.5256 (-0.3)(0.332)-(0.2)(0.525)+0.1=-0.105 1/(1+ e0.105)=0.474,The net input and output calculationsUnit

17、j Errj6 (0.474)(1-0.474)(1-0.474)=0.13115 (0.525)(1-0.525)(0.1311)(-0.2)=-0.00654 (0.332)(1-0.332)(0.1311)(-0.3)=-0.0087,An example,Calculations for weight and bias updatingWeight or bias New valueW46 -0.3+(0.9)(0.1311)(0.332)=-0.261W56 -0.2+(0.9)(0.1311)(0.525)=-0.138W14 0.2+(0.9)(-0.0087)(1)=0.192

18、W15 -0.3+(0.9)(-0.0065)(1)=-0.306W24 0.4+(0.9)(-0.0087)(0)=0.4W25 0.1+(0.9)(-0.0065)(0)=0.1W34 -0.5+(0.9)(-0.0087)(1)=-0.508W35 0.2+(0.9)(-0.0065)(1)=0.194,6 0.1+(0.9)(0.1311)=0.2185 0.2+(0.9)(-0.0065)=0.1944 -0.4+(0.9)(-0.0087)=-0.408,应用举例 1、交通流预测 2、故障诊断 3、函数拟合,BP神经网络与其它技术的结合 1、模糊技术 2、特征提取、选择、构造技术

19、3、聚类技术,3.3反馈式神经网络,前面研究了BP神经网络模型(亦称前馈神经网络)，从学习观点看，它是强有力的学习系统，系统结构简单且易于编程；从系统观点看，它是静态非线性映射，通过简单非线性处理单元的复合映射可获得复杂的非线性处理能力。但是从计算观点看，它并不是强有力的系统，缺乏丰富的动力学行为。大部分前向神经网络都是学习网络，并不注重系统的动力学行为。,下面将介绍反馈神经网络: 从系统观点看，它是反馈动力学系统，这样从计算角度讲，它比前向神经网络具有更强的计算能力。在反馈神经网络中，稳定性就是回忆，至少在没有学习过程时是如此(离线学习也属于这种情况)。在前向神经网络研究中，注重学习的研究而

20、较少关心稳定性，像BP网络就是这样。而在反馈神经网络中，目前的大多数研究成果只关心全局稳定，像Grossberg自联想器和Hopfield神经网络模型就是这样。当然，最好的研究方式是把两者有机地结合起来。从图论观点看，反馈神经网络可用一完备的无向图来表示。如对离散的Hopfield神经网络模型，就可用一加权无向图表示，权值与图的边相关联，阈值连于每一图的节点网络的阶数对应于图的节点数。,下面以Hopfield神经网络为例说明。Hopfield神经网络模型是由美国加州理工学院物理学教授Hopfield于1982年提出的一种互相全连接的反馈型神经网络。由于在网络中成功地引入了“能量函数”的概念，给

21、出了网络的稳定性判据，所以可用来实现A/D转换和解决组合优化计算等问题。所有这些有意义的成果有力地推导了神经网络的研究热潮，开拓了神经网络在信息处理和优化计算中的新用途。,考虑输出与输入间在时间上的传输延时，Hopfield网络表示的是一个动态过程，需要用差分方程或微分方程来描述。(1)离散型Hopfield网络一种多输人多输出，带阈值的二态非线性动态系统。(2)连续型Hopfield网络各神经元是并行(同步)工作的。,连续型Hopfield网络模型还可以用模拟或电子电路来实现，这就为神经计算机的硬件实现提供了理论基础。 Hopfield网络是一种由非线性元件构成的反馈系统，它具有如下两个重要

22、特征： 系统具有多个稳定状态，从某一初始状态开始运动，系统最终可以到达某一个稳定状态； 不同的初始连接权值对应的稳定状态也不相同。如果用相同的稳定状态作为记忆，那么由某一初始状态出发向稳态的演化过程，实际上就是一个联想过程，所以Hopfield网络也具有联想记忆的功能。,3.3.1 连续型Hopfield网络,连续型Hopfield网络(CHNN)与电子电路直接对应，如图所示：,1、原理。电路基本结构如下：,(1)带有同相的反相输出端的运算放大器，并且具有饱和非线性的S型输入输出关系，即：,（3-1）,（3-2）,（3-3）,2CHNN用于优化计算,Hopfield网络用于优化计算的基本原理是

23、在并行工作方式(每一时刻，所有神经元的状态都发生变化)下，把一组初始状态映射到网络中。在网络的运行过程中，能量函数不断减小。当网络的状态不再变化时，网络达到稳定状态。这时，它可使二次型能量函数E达到最小。 因此，凡是可以把目标函数写成式(33)形式的优化问题，都可以用Hopfield网络来求解。其一般步骤如下。 (1)对于待求问题，选择一种合适的表示方法，将神经元网络的输出与问题的解对应起来。,(2)构造神经网络的能量函数，使其最小值对应问题的最优解。(3)将构造的能量函数与标准的能量函数进行对比，推出连接权值和偏流Ii的计算公式，由此得到神经网络。(4)运行Hopfield动态方程(为一阶常

24、微分方程，可任选一种仿真算法将其离散，得到一阶差分方程，给定初始条件后此差分方程可解)，其稳定状态即为问题的最优解。,3CHNN用于系统辩识 系统辨识本身也是一种优化问题。该方法选择一种与系统相近的模型，然后以真实系统与模型的误差为目标函数，通过使目标函数极小化来求得系统的近似参数。因此，Hofield网络在系统辨识中也能得到应用。4CHNN评价,3.3.2离散型Hopfield网络,3-21,图 3-21,图 3-22,3-22(a),3-22(b),3-22(c),3.4 人工神经网络应用,3.4.1人工神经网络用于CGF智能行为建模 CGF实体的智能行为可分为高级智能行为和低级智能行为。

25、高级智能行为包括对态势进行实时的分析与决策和任务规划等行为。低级智能行为包括路线规划、受损后的自动反应和通过行军速度等参数对目标行为进行确定等行为。自动驾驶功能属于低级智能行为。,实现CGF实体自动驾驶功能通常的做法是，在每个仿真周期内通过对实体状态进行条件判断，来决定所仿真实体的动作。下面以实现一个排的CGF坦克实体的自动驾驶功能为例，就如何利用人工神经元网络建立CGF实体的智能行为模型进行探讨。,3.4.2人工神经网络用于规则搜索 应用神经网络的模式记忆功能，可以实现CGF中的战术决策。这种决策由三层神经网络实现：模式生成层、模式记忆层和决策输出层。用这种三层神经网络构成的产生式规则推理系统如图325所示。,图3-25,1神经网络的构成 (1)模式生成层。根据某项属性在所有规则的条件中的取值情况，对这些属性的值域适当划分，每项属性都如此处理，最后得到二进制逻辑量：x1,x2,xn,