第5章-神经网络控制论-《智能控制技术(第2版)》ppt课件.ppt

第五章 神经网络控制论,浙江大学电气学院 韦巍 2015.9,2,引言,2,3,4,非线性动态系统的神经网络辨识,5,神经网络控制的学习机制,神经网络控制器的设计,由于神经网络本质上是一个大规模并行分布处理的非线性动力学系统，并在更高层次上体现出一些人脑的智能行为，为智能控制提供了新途径。神经网络控制的优越性体现在：神经网络可以处理那些难以用模型或规则描述的过程或系统。神经网络采用并行分布式信息处理，具有很强的容错性。神经网络是本质的非线性系统。神经网络具有很强的信息综合能力。神经网络的硬件实现愈趋方便。,一、引言,导师指导下的控制器：神经网络控制结构的学习样本直接取自于专家的控制经验。一旦神经网络的训练达到了能够充分描述人的控制行为时，则网络训练结束,一、引言,逆控制器：如果一个动力学系统可以用一个逆动力学函数来表示，则采用简单的控制结构和方式是可能的,一、引言,模型参考自适应网络控制器：利用神经网络将线性系统经典的自适应控制设计理论和思想方法直接引到非线性系统自适应控制系统中来是可能的,一、引言,神经内模控制结构：系统的实际输出与模型M的输出信号差用于反馈的目的。这个反馈信号通过前向通道上的控制子系统G预处理。通常G是一个滤波器，用于提高系统的鲁棒性。系统模型M和控制器C可以由神经网络来实现,一、引言,前馈控制结构：通常单纯的求逆控制结构不能很好地起到抗干扰能力，因此结合反馈控制的思想组成前馈补偿器的网络控制结构,一、引言,自适应评价网络是由Barto,Sutten 和Anderson在1983年提出来的。整个学习系统由一个相关的搜索单元和一个自适应评价单元组成，在这个算法中，相关搜索单元是作用网络。自适应评价单元为评价网络。它不需要控制系统数学模型，只是通过对某一指标准则J的处理和分析得到奖励或惩罚信号。,一、引言,神经网络的逼近能力首先要搞清楚到底什么样的被控系统可以用神经网络来描述。对于众多的神经网络类型来说，要得到一个统一的神经网络逼近理论是不现实的，况且，还有很多神经网络结构的逼近性问题至今尚未得到证明多层前向传播神经网络能够相当好地逼近许多实际问题中的非线性函数。这一节就要回答这个问题。,一、引言,神经网络的逼近能力含有两个隐含层的前向传播神经网络，且神经元激励函数为单调的S型函数，则此神经网络能够得到合适的逼近精度对于在紧凑集中的任何平方可积函数可以通过有限个隐含神经元组成的二层前向传播神经网络来逼近，并能达到任意逼近精度。考虑具有单个隐含层的前向传播神经网络，其输出属于集合：其中：x表示n维输入矢量，=(1,xT)T;vj 表示隐含层第j个神经元到输出层的权值；wj 表示输入矢量到隐含层第j个神经元的权值矢量 j=1,2,.,q；q为隐含层神经元个数；()为隐含层神经元特性。,一、引言,神经网络的逼近能力定义5-1:S型函数如果函数()：R0，1是非递减函数，且满足则称函数()为 S型函数。定义5-2:距离函数-给定的函数空间S，设f,g,hS。则距离函数满足以下条件：.正定性(f,g)0，且仅当 f=g 时等号成立；.对称性(f,g)=(g，f)；.三角不等式关系(f,g)(f,h)+(h,g)。定义5-3:-稠密-一个度量空间（X，）中的子集S称为是在子集T上的-稠密，只有当对于任意一个给定的0，对所有的tT，存在一个sS，有(s,t)。,一、引言,神经网络的逼近能力定理5-1:若神经元的激励函数()是S-型连续函数。那么，()在C（U）中是-稠密。这个定理说明，只要是有限空间中的连续函数g(x),总存在具有上述神经元特性()的三层网络()，使得其输出函数f(x)能够以任意精度逼近g(x)。对于非连续函数是否也有类似的神经网络来逼近它呢？如果能够实现这样的逼近，则非连续函数g(x)应该满足什么样的条件？Hornik等人在1989年发表论文中阐明了多层前向传播神经网络可以逼近任意连续函数或分段连续函数,一、引言,16,引言,2,3,4,非线性动态系统的神经网络辨识,5,神经网络控制的学习机制,神经网络控制器的设计,系统建模是神经网络的最早应用。什么叫系统辨识？L.A.Zadch曾经下过这样的定义：“辨识是在输入和输出数据的基础上，从一组给定的模型中，确定一个与所测系统等价的模型”。使用非线性系统的输入输出数据来训练神经网络可认为是非线性函数的逼近问题。多层前向传播网络能够逼近任意L2非线性函数。,二、非线性动态系统的神经网络辨识,系统辨识的三要素：模型的选择 输入信号的选择 误差准则的选择,二、非线性动态系统的神经网络辨识,系统辨识的三要素：模型的选择神经网络用于系统辨识的实质就是选择适当的神经网络模型来逼近实际系统，即 为神经网络模型类，为一神经网络。考虑到多层前向传播网络具备良好的学习算法，本章我们选择多层前向传播网络为模型类，为一能充分逼近实际系统而又不过分复杂的多层网络。,二、非线性动态系统的神经网络辨识,系统辨识的三要素：输入信号的选择 从时域上来看，要求系统的动态过程在辨识时间内必须被输入信号持续激励，即输入信号必须充分激励系统的所有模态；从频域来看，要求输入信号的频谱必须足以覆盖系统的频谱,二、非线性动态系统的神经网络辨识,系统辨识的三要素：误差准则的选择 误差准则是用来衡量模型接近实际系统的标准，它通常表示为一个误差的泛函,二、非线性动态系统的神经网络辨识,一旦三大要素确定以后，神经网络的辨识就归结为一个最优化问题。神经网络辨识具有以下五个特点。(1)不要求建立实际系统的辨识格式。(2)可以对本质非线性系统进行辨识，而且辨识是通过在网络外部拟合系统的输入/输出，网络内部隐含着系统的特性。因此这种辨识是由神经网络本身实现的，是非算法式的。(3)辨识的收敛速度不依赖于待辨识系统的维数，只与神经网络本身及其所采用的学习算法有关，传统的辨识方法随模型参数维数的增大而变得很复杂。(4)由于神经网络具有大量的连接，这些连接之间的权值在辨识中对应于模型参数，通过调节这些权值使网络输出逼近系统输出(5)神经网络作为实际系统的辨识模型，实际上也是系统的一个物理实现，可以用于在线控制。,二、非线性动态系统的神经网络辨识,神经网络辨识模型的结构 前向建模法逆模型法,二、非线性动态系统的神经网络辨识,前向建模法：利用神经网络来逼近非线性系统的前向动力学模型。,yN(k+1)=f(y(k),.,y(k-n+1),u(k),.,u(k-m+1),二、非线性动态系统的神经网络辨识,逆模型法直接法：逆向建模是最直接的方法是将系统输出作为网络的输入，网络输出与其期望输出即系统的输入进行比较得到误差作为此神经网络训练的信号,二、非线性动态系统的神经网络辨识,逆模型法存在的问题 学习过程不一定是目标最优的，可以采用下图所示的实用逆模型法一旦非线性系统对应关系不是一对一的，那么不准确的逆模型可能会被建立,二、非线性动态系统的神经网络辨识,非线性系统的前向建模辨识的两种结构并行结构串行结构,串行结构收敛性较好,二、非线性动态系统的神经网络辨识,对于非线性系统：其中 X(k)、U(k)、Y(k)分别为n维、p维、m维状态矢量序列神经网络系统辨识的基本思想是利用神经网络的非线性映射特性来逼近动态系统的非线性函数和。如下图所示。,二、非线性动态系统的神经网络辨识,设系统的输入空间为u,输出空间为g,实际系统可以表示为一个从输入空间到输出空间的算子P:ug;给定一个模型类SM，设PSM，则辨识的目的就是确定一个SM的子集类，使其中存在，且P在给定的准则下，为P的一个最佳逼近,二、非线性动态系统的神经网络辨识,讨论非线性动态系统的神经网络辨识的四种辨识模型IIIIIIIV其中f、g分别为非线性函数。u(k),y(k)表示在k时刻的输入-输出对,二、非线性动态系统的神经网络辨识,假定：(1)线性部分的阶次n、m已知；(2)系统是稳定的，即对于所有给定的有界输入其输出响应必定也是有界的。反映在模型上要求线性部分的特征多项式 的根应全部位于单位圆内。(3)系统是最小相位系统，反映在模型上要求 的零点全部位于单位圆内。(4)u(k-i),i=0,1,.与y(k-j),j=0,1,.可以量测,二、非线性动态系统的神经网络辨识,神经网络的辨识途径有二种：线性部分的参数已知 可归结为带时滞的多层感知网络模型的学习问题，只是导师学习信号有所不同。线性部分的参数未知 可归结为带时滞的多层感知网络模型的学习和线性系统的参数估计问题。,二、非线性动态系统的神经网络辨识,对于模型I、II如果线性部分已知，系统实际输出与模型输出（神经网络输出与线性部分输出之和）的差可以用BP算法来训练神经网络模型,二、非线性动态系统的神经网络辨识,对于模型I、II，如果线性部分未知。采用改进的BP迭代学习算法,二、非线性动态系统的神经网络辨识,设线性部分的未知参数用矢量表示，非线性部分的神经网络模型参数用W阵表示 针对模型I,二、非线性动态系统的神经网络辨识,由于线性模型和非线性模型的期望输出Z(l+1)和tpj 在这里都是未知的，已知的只是两个模型的输出之和。而它们的期望值应该是系统在当前时刻k+1的实际输出矢量y(k+1)值。因此在实际对如上算法进行计算时可交替使用y(k+1)-y2(k+1)和y(k+1)-y1(k+1)去近似地代替Z(k+1)和tpj 在初始条件完全未知的情况下可以取：其中为比较大的数字。,二、非线性动态系统的神经网络辨识,举例 5-1考虑以下模型：y(k+1）=ay(k)+by(k-1)+g(u)其中a=0.3,b=0.6 g(u)=u3+0.3u2-0.4u试辨识该系统,二、非线性动态系统的神经网络辨识,解：线性部分，采用递推最小二乘学习法非线性部分采用前向传播多层神经网络来逼近选择神经网络结构为1,8,4,1,=0.2，=0,二、非线性动态系统的神经网络辨识,为了验证辨识效果，采用校验输入信号：,二、非线性动态系统的神经网络辨识,对于模型，可以用一个NN来逼近，也可以用两个NN来逼近。下面考虑第二种情况：Nf 网络用来逼近可分离的非线性函数之一 f()Ng 网络用来逼近可分离的非线性函数之二 g(),二、非线性动态系统的神经网络辨识,选指标函数：根据BP算法的推导思路可得广义误差为：,二、非线性动态系统的神经网络辨识,神经网络系数更新公式为：在整个算法的计算过程中，交替使用网络的实际输出值opj1(L）和opj2(L），使得广义误差信号可以不断地进行计算和修正，直至最终收敛,二、非线性动态系统的神经网络辨识,43,引言,2,3,4,非线性动态系统的神经网络辨识,5,神经网络控制的学习机制,神经网络控制器的设计,神经元控制器的目的在于如何设计一个有效的神经元网络去代替传统控制器的作用，使得系统的输出跟随系统的期望输出。为了达到这个目的，神经网络的学习方法就是寻找一种有效的途径进行网络连接权阵或网络结构的修改，从而使得网络控制器输出的控制信号能够保证系统输出跟随系统的期望输出。,三、神经网络控制的学习机制,学习机制分为：监督式学习（有导师指导下的控制网络学习）离线学习法在线学习法反馈误差学习法多网络学习法增强式学习（通过某一评价函数指定下的学习）,三、神经网络控制的学习机制,1、离线学习法,适合静态环境，网络离线训练中选择的性能指标为u-uc的平方误差极小，这一指标并不能保证系统的最终性能yd-y的平方误差极小,三、神经网络控制的学习机制,2、在线学习法：找出一个最优控制量u使得系统输出y趋于期望输出yd。权阵的调整应该使得yd-y的误差减少最快,适合模型已知的动态环境,三、神经网络控制的学习机制,学习算法：采用最速下降法,假设系统的Jacobian矩阵已知,三、神经网络控制的学习机制,3、反馈误差学习法,适用于非线性系统线性绝对占优条件下的网络学习,三、神经网络控制的学习机制,4、多神经网络学习法（两种）,三、神经网络控制的学习机制,增强式学习当某些被控系统的导师信号无法得到时，期望输出就没有了。增强型学习就是利用当前控制是否成功来决定下一次控制该如何走的学习方式。修正的办法是对某一成功的行为进行鼓励，而对不成功的行为进行惩罚。用神经网络来实现时，则可在权值空间进行调整。,三、神经网络控制的学习机制,52,引言,2,3,4,非线性动态系统的神经网络辨识,5,神经网络控制的学习机制,神经网络控制器的设计,四、神经网络控制器的设计,神经网络控制的设计方法有四种：直接逆模型控制法 直接网络控制法多网络自学习控制法单一神经元控制,1、直接逆模型控制法：最直观的一种神经网络控制器实现方法，其基本思想就是假设被控系统可逆，通过离线建模得到系统的逆模型网络，然后用这一逆网络模型去直接控制被控对象,训练结构示意图,四、神经网络控制器的设计,四、神经网络控制器的设计,考虑如下单输入单输出系统：y(k+1)=f(y(k-1),.,y(k-n+1),u(k),.,u(k-m)y:系统的输出变量；u:系统的输入变量；n：系统的阶数；m：输入信号滞后阶f()：任意的线性或非线性函数如果已知系统阶次n、m，并假设系统可逆，则存在函数g()，有：u(k)=g(y(k+1),.,y(k-n+1),u(k-1),.,u(k-m),四、神经网络控制器的设计,若能用一个多层前向传播神经网络来实现，则网络的输入输出关系为:uN=(x)式中：uN为神经网络的输出，它表示训练完成后神经网络产生的控制作用；为神经网络的输入输出关系式，它用来逼近被控系统的逆模型函数g()；X为神经网络的输入矢量，X=y(k+1),y(k),.,y(k-n+1),u(k-1),.,u(k-m)T将神经网络输入矢量X中的y(k+1)用期望系统输出值yd(k+1)去代替就可以通过神经网络产生期望的控制量u。即：X=yd(k+1),y(k),.,y(k-n+1),u(k-1),.,u(k-m)T,直接网络控制法:直接逆模型控制法由于缺乏学习机制，且在控制器的设计中又没有考虑到系统本身的输入输出状态，因此，一旦系统运行的环境、参数发生变化时，这类控制器就无法适应了。直接网络控制法是在神经网络的输入端引入了系统的状态信号，并将学习机制实时在线地用于网络控制器的调整和改善,四、神经网络控制器的设计,以例子来说明设计方法：考虑被控系统 假设动力学逆模型成立，即有u(k)=gy(k+1),y(k),y(k-1),y(k-1),u(k-1)试用直接网络控制法控制。,四、神经网络控制器的设计,解：构造神经网络结构为5,25,12,1。期望输出为：,四、神经网络控制器的设计,该例的直接网络控制结构图为：注意：这里我们用yd(k+1)代替y(k+1),而y(k),仍然用系统实际输出，而不是期望输出,四、神经网络控制器的设计,输出层,隐含层,四、神经网络控制器的设计,选目标函数：假设：输出单元层的神经元为线性单元、其余层的神经元为Sigmoid激励元。则学习算法为：,取=0.05，学习结果,100次,四、神经网络控制器的设计,当Jacobian矩阵难以得到时，可以采用近似方法：摄动法：代替符号函数法：采用符号函数 代替前向神经网络模型法：采用另一神经网络模型来仿真系统的动力学模型多网络自学习控制法,四、神经网络控制器的设计,多网络自学习控制法基本思想是利用逆动力学模型和系统的期望输出yd(k+1)去构造一个期望的控制量ud(k)，从而解决了神经控制器Nc在系统模型未知情况下的学习问题。,四、神经网络控制器的设计,单一神经元控制:适用于单输入单输出系统,wi(t+1)=wi(t)+pi(t),四、神经网络控制器的设计,如设定值r(t)、对象输出测量值y(t)等。转换部件的输出为神经元学习所需的状态，如设定值r(t)、误差e(t)、误差变化e(t)等，控制信号u(t)由神经元通过关联搜索来产生。根据以上模型，采用联想式学习方法，可以得出规范化神经元非模型控制方法：式中xi(t)i=1,2,n 为神经元的输入状态;K为神经元的比例系数；为神经元的学习速率。,四、神经网络控制器的设计,