【浙大名师ppt课件】智能控制技术第3章 神经网络控制.ppt

智能控制技术,第 3 章 神经网络控制二零一一年三月,神经网络控制,人工神经网络（ANN）是智能控制领域研究历史比较长但发展曲折的交叉学科。基于人工神经网络的控制简称神经控制（Neural Control）。神经网络具有很强的学习能力、非线性映射能力、鲁棒性和容错能力，充分地将这些神经网络特性应用于控制领域，可使控制系统的智能化向前迈进一大步。随着控制系统的复杂性增强，人们对控制系统的要求增高，特别是要求控制系统能适应不确定性、时变的对象与环境。传统的基于精确模型的控制方法难以适应要求，现在关于控制的概念也已更加广泛，它要求包括一些决策、规划以及学习功能。神经网络由于具有这些优点而越来越受到人们的重视。,第3章 主要内容,3.1 神经网络的理论概述3.2 前馈网络及其BP学习算法3.3 反馈网络及其它网络结构3.4 神经网络控制器原理及设计3.5 模糊神经网络控制及其应用3.6 MATLAB神经网络工具箱的使用3.7 神经网络控制系统应用实例3.8 本章小结,3.1 神经网络的理论概述,3.1.1 生物神经元模型3.1.2 人工神经元模型3.1.3 神经网络模型3.1.4 神经网络分类3.1.5 神经网络的学习规则3.1.6 用于控制的神经网络3.1.7 神经网络控制的研究内容,3.1神经网络的理论概述,3.1.1 生物神经元模型 人工神经网络是参照生物神经网络发展起来的，本书若不作特别说明，神经网络均指人工神经网络。为了深入学习和研究人工神经网络，了解生物神经网络的基本原理是很有必要的。 人脑神经系统的基本单元是神经细胞，即生物神经元，人脑神经系统约由个神经元构成，每个神经元与约个其他神经元相连接。神经细胞与人体中其他细胞的关键区别在于，神经细胞具有产生、处理和传递信号的能力。,3.1神经网络的理论概述,一个生物神经元的结构如图所示，主要包括细胞体、树突和轴突。每一部分虽具有各自的功能，但相互之间是互补的。 在生物神经细胞中，除了特殊的无“轴突”神经元外，一般每个神经元从细胞体伸出一根粗细均匀、表面光滑的突起，称为轴突，它的功能是细胞的输出端，用于传出神经冲动。从细胞体延伸出像树枝一样向四处分散开来的许多突起，称之为树突，起作用是细胞的输入端，通过“突触”接受四周细胞传来的神经冲动。轴突末端有许多细的分枝，称之为神经末梢，每一根神经末梢可以与其他神经元连接，其连接的末端称之为突触。,图3-1 生物神经元,3.1神经网络的理论概述,神经元之间的连接是靠突触实现的。当传入的神经元冲动使细胞膜电位升高并超过阈值时，细胞进入兴奋状态，产生神经冲动，由轴突输出；相反，若传入的神经冲动使细胞膜电位下降到低于阈值时，进入抑制状态，则轴突没有神经冲动输出。根据突触对下一个神经细胞的功能活动的影响，突触又可分为兴奋性的和抑制性的两种。兴奋性的突触可能引起下一个神经细胞兴奋，抑制性的突触使下一个神经细胞抑制。,图3-2 人工神经元结构模型,3.1神经网络的理论概述,3.1.2 人工神经元模型 人工神经元是生物神经元的简化和模拟，它是神经网络的基本处理单元。它是一个多输入单输出的非线性元件，其输入输出关系可描述为,（3-1）,（3-2）,其中，是从其他细胞传来的输入信号，为阈值，表示从神经元到神经元的连接权值，称为作用函数。 从上面分析可以看出，人工神经元反映了生物神经元的基本功能。 作用函数又称为变换函数，它决定神经元的输出。作用函数可为线性函数，但通常为阶跃函数或S状曲线那样的非线性函数。,3.1神经网络的理论概述,3.1.3 神经网络模型 神经网络可分成两大类：没有反馈的前向网络和相互结合型网络。,(a) 前向网络,(b)相互连接型网络,3.1神经网络的理论概述,3.1.4 神经网络分类神经网络发展几十年来，形成了数十种网络，包括多层感知器、自适应共振理论、Kohomen自组织特征映射、Hopfield网络、RBF网络、小波神经网络、混沌神经网络、细胞神经网络、模糊神经网络等。这些网络结构不同，应用范围也各不相同。神经网络中应用较多的几种主要的模型有：（1）多层前向神经网络MLFN （2）递归神经网络RNN （3）自组织神经网络 （4）Hopfield神经网络（5）模糊神经网络,3.1神经网络的理论概述,3.1.5 神经网络的学习规则学习功能是人工神经网络中最重要的特征之一。神经网络主要由三种因素决定：神经元的特性，网络的连接和学习算法规则。学习算法对网络学习速度、收敛特性、泛化能力等有很大的影响。学习方法归根到底就是网络连接权的调整方法。人工神经网络连接权的确定通常有两种方法：一种是根据具体要求直接计算出来，如Hopfield网络作优化计算时就属于这种情况；另一种是通过学习得到的，大多数人工神经网络都是采用这种方法。,3.1神经网络的理论概述,3.1.5 神经网络的学习规则人工神经网络中，常用的学习规则主要有：无监督Hebb学习规则Perception学习规则 学习规则内星/外星学习规则,3.1神经网络的理论概述,3.1.6 用于控制的神经网络 神经网络的下列特性适合于控制系统：并行性分布式自适应学习非线性映射可硬件实现,3.1神经网络的理论概述,3.1.7 神经网络控制的研究内容1基于神经网络的系统辨识将神经网络作为被辨识系统的模型，可在已知常规模型结构的情况下，估计模型的参数。利用神经网络的线性、非线性特性，可建立线性、非线性系统的静态、动态、逆动态及预测模型，实现系统的建模和辨识。2神经网络控制器神经网络作为控制器，可对不确定、不确知系统及扰动进行有效的控制，使控制系统达到所要求的动态、静态特性。3神经网络与其它智能技术的结合将神经网络与专家系统、模糊逻辑、遗传算法等相结合，可设计新型智能控制系统。4优化计算在常规的控制系统中，常遇到求解约束优化问题，神经网络为这类问题的解决提供了有效的途径。,3.2 前馈网络及其BP学习算法,3.2.1 感知器3.2.2 径向基函数神经网络3.2.3 BP网络3.2.4 BP学习算法3.2.5 改进型BP算法3.2.6 BP网络仿真实例,前馈网络及其BP学习算法,3.2.1 感知器感知器（perceptron）是一个具有单层神经元的神经网络，并由线性阈值元件组成，是最简单的前向网络，主要用于模式分类。单层的感知器网络结构如图所示。x是输入特性向量，y为输出量，是按照不同特性分类的结果，w是x到y的连接权值，此权值是可调整的，因而有学习功能。,前馈网络及其BP学习算法,3.2.1 感知器 感知器的输入输出关系可表示为 一种学习算法是：(1) 随机地给定一组连接权值（较小的非零值）；(2) 输入一组样本和期望的输出（亦称为教师信号）；(3) 计算感知器的实际输出：(4) 按下式修正权值：(5) 选取另外一组样本，重复上述(2)(4)的过程，直到权值对一切样本均稳定不变为此，学习过程结束。,前馈网络及其BP学习算法,3.2.2 径向基函数神经网络径向基函数神经网络（RBF网络）是一种前馈神经网络，一般分为三层结构，其网络结构如图3-8所示。,前馈网络及其BP学习算法,3.2.3 BP网络 误差反向传播神经网络，即BP网络（Back Propagation），是一种单向传播的多层前向网络。在模式识别、系统辨识、函数拟合、优化计算、最优预测和自适应控制等领域有着较为广泛的应用。如图是其结构示意图。,BP网络是一种最为常用的前馈网络，它有一个输入层，一个输出层，一个或多个隐含层。每一层上包含了若干个节点，每个节点代表一个神经元。同一层上的各节点之间无耦合连接关系，信息从输入层开始在各层之间单向传播，依次经过各隐含层节点，最后达到输出层节点。,前馈网络及其BP学习算法,3.2.4 BP学习算法BP算法的基本思想是最小二乘法。它应用梯度搜索技术，以期使网络的实际输出值与期望值的误差均方值为最小。学习过程由信号的正向传播和误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望输出不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而各层单元获得误差信号，此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始，权值不断调整的过程，也就是网络的学习训练过程。此过程一直到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。,前馈网络及其BP学习算法,3.2.4 BP学习算法,计算步骤：（1）初始化：置所有的权值为较小的随机数；（2）提供训练集：给定输入向量X 和期望的目标输出向量D；（3）计算实际输出：按公式计算隐层、输出层各神经元的输出；（4）计算目标值与实际输出的偏差 ；（5）计算输出节点的连接权值调整 ；（6）再计算隐层节点连接权值调整 ；（7）返回步骤（2）重复计算，直到误差 满足要求为止。,前馈网络及其BP学习算法,3.2.5 改进型BP算法由于BP算法的实质是梯度下降法，因此它不可避免的存在着以下几个问题：（1）由于采用非线性优化，易形成局部极小而得不到全局最优值；（2）待寻优的参数多，收敛速度慢；（3）网络的结构设计，即隐层和节点数的选择尚无理论指导；（4）新加入的样本会影响到已学好的样本。 为了解决上述问题，许多研究人员提出了许多BP的改进算法，主要有：（1）拟牛顿法（2）共轭梯度法（3）Levenberg-Marquardt法（4）附加动量法（5）自适应学习速率,前馈网络及其BP学习算法,3.2.6 BP网络仿真实例 取标准样本为三输入两输出样本，样本数据如下表：,BP网络采用3-6-2结构，权值 、 的初始值取 之间的随机值，学习参取 ， 。运行程序，取网络训练的最终指标为 ，网络训练曲线如图3-11所示。将网络训练的最终权值为用于模式识别的知识库，将其保存在文件中。取一组实际样本进行测试，测试样本及测试结果见表3-2。有仿真结果可见，BP网络具有很好的模式识别能力。,前馈网络及其BP学习算法,3.2.6 BP网络仿真实例,3.3 反馈网络及其它网络结构,3.3 反馈网络及其它网络结构 3.3.1 Hopfield网络 3.3.2 Boltzmann机网络 3.3.3 双向联想记忆网络 3.3.4 Hamming网络 3.3.5 Kohonen网络,3.3 反馈网络及其它网络结构,3.3.1 Hopfield网络1. 结构 Hopfield 网络结构如图所示，它是一种单层反馈性非线性网络，每一个结点的输出均反馈到其他结点的输入，整个网络都不存在自反馈。,Hopfield网络结构,3.3 反馈网络及其它网络结构,3.3.1 Hopfield网络 J. J. Hoplield利用模拟电路（电阻、电容和运算放大器）实现了对网络的结点（神经元）的描述，如图所示。 假设网络共有n个这样的神经元组成，可得到 : 由此可见，Ri，Ci的并联模拟了生物神经元的时间常数， 模拟了神经元间的突触特性即权值，运算放大器模拟了神经元的非线性特征，偏置电流 相当于阈值。,Hopfield神经元的模拟电路,3.3 反馈网络及其它网络结构,3.3.1 Hopfield网络2学习过程 网络的学习过程实际上就是权值调整过程，学习目的就是调整连接权值，以使得网络的稳定平衡状态就是所要求的状态。采用的学习算法是Hebb学习规则，即权值调整规则为：若第i个和第j个神经元同时处于兴奋状态，那么他们之间的连接应该增强，权值增大: 假设要求网络要有个正交稳态，则 若增加新的稳态，则,3.3 反馈网络及其它网络结构,3.3.1 Hopfield网络3应用 （1）联想记忆功能： 由于网络可以收敛于稳定状态，因此可用于联想记忆。若将稳态视为一个记忆，则由初始状态向稳态收敛的过程，初态可认为是给定的部分消息，收敛过程可认为是从部分信息找到了全部信息，则实现了联想记忆的功能。联想记忆的一个重要特性是由噪声输入模式反映出训练模式。 （2）优化计算： 若将稳态视为某一优化问题目标函数的极小点，则由初态向稳态收敛的过程就是优化计算过程。网络逐渐稳定的前提是。 （3）网络的应用： Hopfield网络多于在控制系统的设计中求解约束优化问题，另外在系统辨识中也有应用。,3.3 反馈网络及其它网络结构,3.3.2 Boltzmann机网络 神经网络是由大量神经元组成的动力学系统。从宏观上讲，各神经元的状态可看做是一个随机变量。从统计的观点分析，也可以寻找神经网络系统中某神经元的状态的概率分布，分布的形式与网络的结构有关，其参数则是权系数。Boltzmann 是由Hinton 和Sejnowski 等人借助统计物理学的方法提出的一种基于约束传播的并行计算网络，其中网络中状态的概率具有统计力学中的Boltzmann分布规律。Boltzmann机网络可以看成是引入了隐单元的Hopfield 模型的推广。Boltzmann 机现常用于模式分类、预测、组合优化及规划等方面。,3.3 反馈网络及其它网络结构,3.3.2 Boltzmann机网络1Boltzmann机网络的结构 Boltzmann机网络是一个相互连接的神经网络模型，如图3-14所示，单元之间的连接可以是完全连接，也可以是按某种方便的形式结构化的，但必须具有对称的连接权系数，即 ，且 每个单元节点只取1或者0两种状态，1代表接通或接受，0代表断开或拒绝。,图3-14 Boltzmann机网络的结构示意图,3.3 反馈网络及其它网络结构,3.3.2 Boltzmann机网络在Boltzmann 机网络中，每个神经元都根据自己的能量差 随机地改变自己的或为0或为1的状态，即当神经元的输入加权和发生变化时神经元的状态随之更改，各单元之间状态的更新是异步的，可以用概率来描述。神经元i的输出取值为1的概率为 ：神经元i的输出取值为0的概率为：,3.3 反馈网络及其它网络结构,3.3.2 Boltzmann机网络Boltzmann机网络一个神经元节点的示意图如图3-15 所示：神经元i的前状态 ：能量差 ：假设网络的连接权是对称的，则网络的能量函数可以表示为 ：,图3-15 Boltzmann机网络神经元节点,3.3 反馈网络及其它网络结构,3.3.2 Boltzmann机网络2Boltzmann机网络的训练和学习规则 加拿大多伦多大学教授Hinton等人基于统计物理学和Boltzmann提出概率分布模拟退火训练，提出了Boltzmann机的学习算法，具体算法如下： 设定初始网络随机给定全部权值 ； 给定一输入样本x，按照概率 ，用随机给定全部权值 计算 ； 若 ，则x将置为新的状态，否则，以概率 接受x； 其中 为Boltzmann常数； 重复，直到系统达到平衡状态，并计算 （网络在有样本学习的条件下且系统达到平衡状态时第i个和第j个神经元同时为1的概率）；,3.3 反馈网络及其它网络结构,3.3.2 Boltzmann机网络 不给定学习样本，重复，并计算 （网络在无样本学习的条件下且系统达到平衡状态时第i个和第j个神经元同时为1的概率）； 按照梯度下降法来计算修正权值： 反复调整 ，直至 ，即 。,3.3 反馈网络及其它网络结构,3.3.3 双向联想记忆网络 双向联想记忆（bidirectional associative memory，BAM)是由Kosko提出的一种双层反馈神经网络，用它可以实现异联想记忆功能，可以将这两层分别定义成X层和Y层 ，其结构如图3-16所示 ：,图3-16 双向联想记忆模型,3.3 反馈网络及其它网络结构,3.3.3 双向联想记忆网络 BAM网络中两层之间的连接是全互联及双向的 ，将从X层到Y层的权值矩阵定义成 ，其学习算法如下：（1）首先将每一个二值向量对 转换为双极性向量对 ，即用-1取代模式对中的0。（2）计算双极性伴随矩阵 ，最后将全部m个双极性伴随矩阵相加，即得到权矩阵W，即 。,3.3 反馈网络及其它网络结构,3.3.4 Hamming网络 Hamming网络是最简单的竞争网络之一，用于从已存向量中选出与输入最近的向量 ，它由两部分组成，第一部分是一个线性前馈层，第二部分是一个递归层 。其结构图如图3-17所示：,图3-17 Hamming网络,3.3 反馈网络及其它网络结构,3.3.4 Hamming网络1. 线性前馈层 线性前馈层的权值和偏移存储了已存的信息： 对输入，该层完成以下运算 ： 线性前馈层的作用是实现已存矢量 与输入 的内积（加上标量 ），即实现向量学习规则。,3.3 反馈网络及其它网络结构,3.3.4 Hamming网络2. 递归层 递归层这一层是竞争层，其作用是找出第一层中哪一个原型矢量最接近于输入 ，该层的工作过程如下： （1）第一层的输出作为第二层的输出的初始值： （2）该层的输出按下式迭代 ： 反馈层第i个神经元的输出为：,3.3 反馈网络及其它网络结构,3.3.5 Kohonen网络 Kohonen网络或自组织特征映射网络含有两层，一个输入缓冲层用于接收输入模式，另一个为输出层，如图3-18所示：,图3-18 Kohonen网络,3.3 反馈网络及其它网络结构,3.3.5 Kohonen网络 训练一个Kohonen网络包含下列步骤： （1）对所有输出神经元的参考矢量预置小的随机初值。（2）提供给网络一个训练输入模式。 （3）确定获胜的输出神经元，即参考矢量最接近输入模式的神经元。参考矢量与输入矢量间的Euclidean距离通常被用做距离测量。（4）更新获胜神经元的参考矢量及其近邻参考矢量。,3.4 神经网络控制器原理及设计,3.4 神经网络控制器原理及设计 3.4.1 概述 3.4.2 神经网络控制的结构 3.4.3 基于单神经元PID控制 3.4.4 仿真实例,3.4 神经网络控制器原理及设计,3.4.1 概述 由于神经网络本身具备传统的控制手段无法实现的一些优点和特征，使得神经网络控制器的研究迅速发展，并取得了大量的研究成果。神经网络控制所取得的进展为：（1）基于神经网络的系统辨识 。（2）神经网络控制器 。（3）神经网络与其他算法相结合 。（4）优化计算 。（5）控制系统的故障诊断 。,3.4 神经网络控制器原理及设计,3.4.2 神经网络控制的结构 综合目前的各种分类方法，可将神经网络控制的结构归结为以下七类 ：1神经网络监督控制 2神经网络直接逆控制 3神经网络自适应控制 4神经网络内模控制 5神经网络预测控制 6神经网络自适应评判控制 7. 神经网络混合控制,3.4 神经网络控制器原理及设计,1. 神经网络监督控制 神经网络监督控制通过对传统控制器进行学习，然后用神经网络控制器逐渐取代传统控制器的方法，其结构如图3-19所示：,图3-19 神经网络监督控制,3.4 神经网络控制器原理及设计,2. 神经网络直接逆控制 神经网络直接逆控制就是被控制对象的神经网络逆模型直接与被控对象串联起来，以使得期望输出(即网络输入）与对象实际输出之间的传递函数等于1。图3-20给出了两种结构方案：,图3-20 神经网络直接逆控制,3.4 神经网络控制器原理及设计,3. 神经网络自适应控制神经网络自适应控制有神经网络自校正控制和神经网络模型参考自适应控制两种。两者的区别在于：自校正控制将根据对系统正向或逆模型建模的结果，直接调节控制器的内部参数，使系统满足给定的性能指标。而在模型参考控制中，闭环控制系统的期望性能由一个稳定的参考模型描述，控制的目的是使被控对象的输出渐进地趋于参考模型的输出。,3.4 神经网络控制器原理及设计,（1）神经网络自校正控制 神经网络自校正控制可分为直接控制和间接控制两种。他们的根本区别是：神经网络直接自校正控制由一个神经网络控制器和一个可进行在线修正的神经网络辨识器组成；神经网络间接自校正控制由一个常规控制器和一个具有离线辨识能力的神经网络辨识器组成，神经网络辨识器需要具有很高的建模精度。神经网络间接自校正控制结构如图3-21所示 ：,图3-21 神经网络间接自校正控制,3.4 神经网络控制器原理及设计,(2) 神经网络模型参考自适应控制 基于神经网络模型参考自适应控制分为直接模型参考自适应控制和间接模型参考自适应控制两种，如图3-22所示：,图3-22 神经网络模型参考自适应控制,（a） 直接模型参考自适应控制,（b） 间接模型参考自适应控制,3.4 神经网络控制器原理及设计,4. 神经网络内模控制 内模控制将被控系统的正向模型和逆模型直接加入反馈回路，系统的正向模型作为被控对象的近似模型与实际对象并联，两者输出之差被用做反馈信号，该反馈信号又经过前向通道的滤波器及控制器进行处理。图3-23所示为神经网络内模控制：,图3-23 神经网络内模控制,3.4 神经网络控制器原理及设计,5. 神经网络预测控制 预测控制又称为基于模型的控制，这种算法的特征是预测模型，滚动优化和反馈校正。神经网络预测控制的结构如图3-24所示 ：,图3-24 神经网络预测控制,3.4 神经网络控制器原理及设计,6. 神经网络自适应评判控制 神经网络自适应评判控制通常由两个网络组成，如图3-25所示 ：,图3-25 神经网络自适应评判控制,3.4 神经网络控制器原理及设计,7. 神经网络混合控制神经网络专家控制 神经网络模糊控制 基因神经网络模糊控制,3.4 神经网络控制器原理及设计,3.4.3 基于单神经元PID控制 单神经元PID控制结构如图3-26所示 ：单神经元优点：（1）良好的自适应性和鲁棒性（2）易于调试（3）控制品质良好（4）响应速度快,图3-26 单神经元PID控制结构,3.4 神经网络控制器原理及设计,3.4.3 基于单神经元PID控制 单神经元控制器是通过对加权系数的调整来实现自适应、自组织功能的，权系数的调整是按有监督的Hebb学习规则实现的。控制算法及学习算法为：,3.4 神经网络控制器原理及设计,3.4.3 基于单神经元PID控制 单神经元自适应PID学习算法的运行效果与可调参数 ， ， ，的选取有关 ，选取规则归纳如下：（1）增益是系统最敏感的参数。对阶跃输入，若输出有大的超调，甚至出现震荡，应减小 ，维持 ， ， 不变，若上升时间长，无超调，应增大 ， 、 、 不变。（2）对阶跃输入，若被控对象产生多次正弦衰减现象，应减少 ，其它参数不变。,3.4 神经网络控制器原理及设计,（3）若被控对象响应特性出现上升时间短，有过大超调，应减少 ，其它参数不变。 （4）若被控对象上升时间长，增大 ，又导致超调过大，可适当增加 ，其它参数不变。（5）在开始调整时， 选择较小值，当调整 ， 和 使被控对象具有良好特性时，再逐渐增加 ，而其它参数不变，使系统稳态输出基本无波纹。,3.4 神经网络控制器原理及设计,3.4.4 仿真实例 被控对象为 输入指令为一方波信号： ，采样时间为1ms， =0.40， =0.35， =0.40，采用有监督Hebb学习实现权值的学习，初始权值取 ， 。仿真结果如图3-27至3-29所示。,3.4 神经网络控制器原理及设计,图3-27 输入曲线,图3-28 误差曲线,图3-29 基于无监督Hebb学习规则的位置跟踪,3.5 模糊神经网络控制及其应用,神经网络和模糊系统有各自的优缺点，如何将它们结合起来，充分发挥它们各自的优缺点，是神经网络和模糊控制的一个共同发展研究方向。模糊神经网络（FNN）就是模糊理论同神经网络结合的产物，它汇聚了神经网络与模糊理论的优点，集学习、联想、识别、自适应及模糊信息处理于一体。,3.5 模糊神经网络控制及其应用,3.5、 模糊神经网络控制及其应用3.5.1 、模糊神经元3.5.2 、 模糊神经网络3.5.3 、模糊神经网络控制器,3.5 模糊神经网络控制及其应用,3.5.1 模糊神经元 所谓模糊神经元是指一类可进行模糊信息处理或模糊逻辑运算的人工神经元。有下面三种模型：（1）模糊化神经元这类模糊化神经元是指可将观测值或输入值定量化或标准化的神经元。 常采用单输入单输出形式，其输入输出关系为：（2）去模糊化神经元这是一类将模糊值形式的输出结果变为确定值形式的输出结果的信息处理单元。去模糊化神经元所表达的输入输出关系为,3.5 模糊神经网络控制及其应用,（3）模糊逻辑神经元 这类模糊逻辑神经元是指可进行模糊逻辑运算的神经元。这是一类多输入单输出类型的神经元，其输入输出关系为：,3.5 模糊神经网络控制及其应用,3.5.2 模糊神经网络可进行模糊信息处理的神经网络，称为模糊神经网络。它们通常是一类由大量模糊的或非模糊的神经元相互联结构成的网络系统。通常将最基本的神经网络划分为前向型模糊神经网络和反馈型模糊神经网络两大类。（1）前向型模糊神经网络是一类可实现模糊映射关系的模糊神经网络。这类网络通常由模糊化网层、模糊关系映射网层和去模糊化网层构成，如下图所示：,3.5 模糊神经网络控制及其应用,前向型模糊神经网络结构图,3.5 模糊神经网络控制及其应用,模糊化网层是对模糊信息进行预处理的网层，主要由模糊化神经元组成。其主要功能是对观测值和输入值（包括模糊的和非模糊的信息、数据）进行规范化处理，使之适应后面的网络化处理。模糊关系映射网层是前向型模糊神经网络的核心，可模拟执行模糊关系的映射，以实现模糊模式识别、模糊推理和模糊联想等。去模糊化网层可对映射网层的输出结果进行非模糊化处理。这在识别与控制领域有时十分必要，因为系统有时要求给出确定性的结果以供执行器去执行。,3.5 模糊神经网络控制及其应用,（2）反馈型模糊神经网络主要是一类可实现模糊联想存储与映射的网络，有时也称其为模糊联想存储器。与一般反馈型神经网络所不同的是，反馈型模糊神经网络中的信息处理单元神经元，不是普通的阈值神经元，而是模糊神经元。因而其所实现的联想与映射是一种模糊联想与映射。这种模糊联想与映射比一般的联想与映射具有更大的吸引域和容错能力。,3.5 模糊神经网络控制及其应用,3.5.3 模糊神经网络控制器模糊神经元网络可以用一般的多层前向BP网络实现，但由于涉及到模糊成分的方式不同，可得到多种类型的模糊神经元网络。一个具有个输入单输出的模糊推理系统可描述为：,3.6 MATLAB神经网络工具箱的使用,神经网络工具箱几乎包括了现有神经网络的最新成果，涉及的神经网络模型包括：（1）感知器；（2）线性网络；（3）BP网络；（4）径向基函数网络；（5）竞争型神经网络；（6）自组织网络和学习向量量化网络；（7）反馈网络。,3.6 MATLAB神经网络工具箱的使用,3.6 MATLAB神经网络工具箱的使用3.6.1 MATLAB工具箱的神经元模型3.6.2 MATLAB工具箱中的神经网络结构3.6.3 MATLAB工具箱函数3.6.4 仿真实例,3.6 MATLAB神经网络工具箱的使用,3.6.1 MATLAB工具箱的神经元模型神经元的输出可表示为写成矩阵形式,3.6 MATLAB神经网络工具箱的使用,MATLAB中人工神经元的一般模型,3.6 MATLAB神经网络工具箱的使用,单层神经网络的向量模型,3.6 MATLAB神经网络工具箱的使用,3.6.2、MATLAB工具箱中的神经网络结构以两层前馈神经网络模型为例，MATLAB工具箱中的神经网络结构如图所示,3.6 MATLAB神经网络工具箱的使用,多层神经网络的向量模型,3.6 MATLAB神经网络工具箱的使用,在输入向量和输出向量之间的网络层称之为隐层，网络的层数为神经元网络的数目，即隐层数加1（注意输入向量不是神经元网络层）。若用向量表示网络的各个参数，则 为神经网络的输入向量，维数为： 为第一层神经元的阈值向量，维数为：,3.6 MATLAB神经网络工具箱的使用,为第一层（输入层）神经元与输入量的连接权向量，维数为 为第一层神经元的中间运算结果，即连接权向量与阈值向量的加权和，维数为 ，即,3.6 MATLAB神经网络工具箱的使用,为第一层神经元的输出向量，维数为 。按照同样的方法，可写出第二层（即输出层）的权值、阈值、输出向量等。输出向量 （维数为 ）：,3.6 MATLAB神经网络工具箱的使用,当现有网络模型满足不了用户的要求时，用户可以自定义网络模型。MATLAB没有提供现成的自定义网络模型的函数，但MATLAB提供了通过自定义网络对象属性来创建网络的方法，从而用户可以随心所欲地创建自己的网络模型。,3.6 MATLAB神经网络工具箱的使用,3.6.3 MATLAB工具箱函数MATLAB 6.5神经网络NNET 4.0.2包含了170多种工具箱函数，若需要详细的说明，可参阅 MATLAB的帮助文档。例如：网络创建函数、学习函数、训练函数等。,3.6 MATLAB神经网络工具箱的使用,（1）网络创建函数newp 创建感知器网络newlind设计一线性层 newlin创建一线性层 newff 创建一前馈BP网络newcf创建一多层前馈BP网络newfftd创建一前馈输入延迟BP网络newrb 设计一径向基网络newrbe 设计一严格的径向基网络newgrnn设计一广义回归神经网络newpnn设计一概率神经网络newhop创建一Hopfield递归网络newsom创建一自组织特征映射newelm创建一Elman递归网络newc创建一竞争层,3.6 MATLAB神经网络工具箱的使用,3.6.4 仿真实例例3-3 采用单一感知器神经元解决一个简单分类问题：将四个输入矢量分为两类，其中两个矢量对应的目标值为1，另两个矢量对应的目标值为0，即输入矢量为：P=-0.5 -0.5 0.3 0;-0.5 0.5 -0.5 1；目标分类矢量：T=1 1 0 0。,3.6 MATLAB神经网络工具箱的使用,MATLAB代码如下：,P=-0.5 -0.5 0.3 0;-0.5 0.5 -0.5 1; T=1 1 0 0; net=newp(-1 1;-1 1,1); handle=plotpc(net.iw1,net.b1); % 返回画线的句柄，下一次绘制分类线时将旧的删除 net.trainParam.epochs=20;% 设置训练次数最大为20 net=train(net,P,T); Y=sim(net,P); figure; plotpv(P,Y);% 绘制分类线 handle=plotpc(net.iw1,net.b1,handle);,3.6 MATLAB神经网络工具箱的使用,例3-4 通过对函数进行采样得到了网络的输入向量P和目标向量T，分别为：P=-1:0.1:1，T=-0.9602 -0.5770 -0.0729 0.3771 0.6405 0.6600 0.4609 0.1336 -0.2013 -0.4344 -0.5000 -0.3930 -0.1647 0.0988 0.3072 0.3960 0.3449 0.1816 -0.0312 -0.2189 -0.3201。设计一个单隐层神经网络来逼近该函数。解：绘图显示： plot(P,T, r+); xlabel(P); label(T);,3.6 MATLAB神经网络工具箱的使用,该网络输入层和输出层的神经元个数为1，根据隐层设计经验公式，取该隐含层神经元个数为7，网络的隐含层神经元的传递函数为logsig，输出层神经元的传递函数为purelin，则网络设计及训练代码如下： net=newff(minmax(P),7,1,logsig, purelin,trainlm); net.trainParam.epochs=1000; net.trainParam.goal=0.001; net=train(net,P,T); Y=sim(net,P); plot(P,T, r+); hold on; plot(P,Y, .);,3.6 MATLAB神经网络工具箱的使用,3.7 神经网络控制系统应用实例,3.7 神经网络控制系统应用实例3.7.1 神经网络在故障模式识别中的应用3.7.2 基于BP网络的电力电子电路故障诊断3.7.3 洗衣机的神经网络模糊控制器的设计,3.7 神经网络控制系统应用实例,3.7.1 神经网络在故障模式识别中的应用神经网络由于自身的特性，在故障模式识别领域中有着越来越广泛的应用。下面以单隐层BP网络为例，介绍基于神经网络诊断的方法和特点。其中，网络的输入结点对应着故障征兆，输出结点对应着故障原因。首先利用一组故障样本对网络进行训练，以确定网络的结构（中间层的传递函数和神经元数目)和参数（神经元之间的连接权值和阈值）。网络训练完毕后，故障的模式分类就是根据给定的一组征兆，实现征兆集到故障集之间的非线性映射的过程。,3.7 神经网络控制系统应用实例,利用神经网络进行的故障模式识别具有以下特点：（1）可用于系统模型未知或系统模型较为复杂，以及非线性系统的故障模式识别。（2）兼有故障信号的模式变换和特征提取功能。（3）对系统含有不确定因素、噪声及输入模式不完备的情况下不太敏感。（4）可用于复杂多模式的故障诊断。（5）可用于离线诊断，也能适应实时监测的要求。,3.7 神经网络控制系统应用实例,基于神经网络模式识别功能的诊断系统结构,3.7 神经网络控制系统应用实例,在上图中，基于神经网络的诊断过程分为两步。首先，基于一定数量的训练样本集（通常称为“征兆-故障”数据集）对神经网络进行训练，得到期望的诊断网络；其次，根据当前诊断输入对系统进行诊断，诊断的过程即为利用神经网络进行前向计算的过程。在学习和诊断之前，通常需要对诊断原始数据和训练样本数据进行适当的处理，包括预处理和特征选取/提取等，目的是为诊断网络提供合适的诊断输入和训练样本。此外，尽管神经网络和传统的故障诊断是两种不同的诊断方法，但两者紧密联系在一起的。如采用小波分析等数据处理方法，可以为神经网络诊断提供可以利用的特征向量。,3.7 神经网络控制系统应用实例,利用BP网络进行故障诊断的一般步骤和注意事项如下：（1）确定合理的网络结构和规模，尤其是网络中间层神经元个数的选择是网络结构确定和网络性能的关键。（2）确定训练样本集和测试集。训练样本集用于对网络进行训练，而测试集用于监测网络训练的效果和推广能力。一般来说，训练样本集不仅应全面涵盖所有故障模式类的数据，还应具有一定的代表性，同时还必须保证学习的有效性。测试样本集的选择应该满足“交叉检验（cross validation）”的原则。（3）根据训练样本集对网络进行训练，经过测试的训练结果即为神经网络故障诊断知识库。（4）根据诊断输入，利用BP网络进行诊断。,3.7 神经网络控制系统应用实例,3.7.2 基于BP网络的电力电子电路故障诊断电力电子电路的诊断具有相当的复杂性，主要原因之一是由于功率器件的损坏造成主电路结构的改变。因此，功率元件的故障诊断成为电力电子电路故障诊断的首要重点。对电路发生故障时输出的波形进行分析，用故障波形的采样数据制作的样本对神经网络进行训练，将训练好的神经网络用于故障诊断，从而实现故障的在线诊断。,3.7 神经网络控制系统应用实例,1、用于诊断的神经网络模型,3.7 神经网络控制系统应用实例,若网络输出与期望输出值不一致，则将其误差信号从输出端反向传播，并在传播过程中对加权系数不断修正，使在输出层节点上得到的输出结果尽可能接近期望输出值。对样本 (=1，2，P)完成网络加权系数的调整后，再送入另一样本模式时，进行类似学习，直到完成P个样本的训练学习为止。,3.7 神经网络控制系统应用实例,BP神经网络故障诊断模型主要包括三层：1)输入层，即从实际系统接受的各种故障信息及现象；2)中间层，是把输入层得到的故障信息，经内部的学习和处理，转化为针对性的解决办法；3)输出层，是针对输入的故障形式，经过调整权系数后，得到的处理故障方法。简而言之，基于神经网络模型的故障诊断就是利用样本训练收敛稳定后的节点连接权值，向网络输入待诊断的样本征兆参数，计算网络的实际输出值，根据输出的大小排序，从而确定故障类别。,3.7 神经网络控制系统应用实例,3.7.3 洗衣机的神经网络模糊控制器的设计在洗涤衣物过程中，