梯度校正参数辩识方法.ppt

1,第12章 其他辨识方法,2,12.1 梯度校正参数辩识方法,3,引言,最小二乘类参数辩识递推算法新的参数估计值=老的参数估计值+增益矩阵 新息梯度校正参数辩识方法（简称梯度校正法）递推算法同样具有 的结构基本原理不同于最小二乘类方法基本做法 沿着准则函数的负梯度方向，逐步修正模型参数估计值，直至准则函数达到最小值。,4,主要内容,确定性问题的梯度校正参数辩识方法随机性问题的梯度校正参数辩识方法随机逼近法,5,确定性问题的梯度校正参数辩识方法,设过程的输出参数 的线性组合如果输出 和输入 是可以准确测量的，则 式过程称作确定性过程,6,确定性过程置,过程,7,若过程参数的真值记作则在离散时间点可写成其中,8,例如用差分方程描述的确定性过程可以化成,9,现在的问题如何利用输入输出数据 和确定参数 在 时刻的估计值使准则函数式中,10,解决上述问题的方法可以是梯度校正法，通俗地说最速下降法沿着 的负梯度方向不断修正 值直至 达到最小值,11,数学表达式-维的对称阵，称作加权阵-准则函数 关于 的梯度,12,当准则函数 取 式时,13,式可写成-确定性问题的梯度校正参数估计递推公式其中权矩阵的选择至关重要,14,随机性问题的梯度校正参数辩识方法,随机性问题的提法确定性问题的梯度校正法与其他辩识方法相比最大的优点：计算简单缺点：如果过程的输入输出含有噪声，这种方法不能用随机性问题的梯度校正法特点：计算简单，可用于在线实时辩识缺陷：事先必须知道噪声的一阶矩和二阶矩统计特性,15,随机性问题,16,设过程的输出模型参数 的线性组合输入输出数据含有测量噪声,17,其中 和 为零均值的不相关随机噪声,18,置则,19,现在的问题利用输入输出数据 和确定参数 在 时刻的估计值使准则函数其中,20,随机逼近法,随机逼近法梯度校正法的一种类型颇受重视的参数估计方法,21,随机逼近原理,考虑如下模型的辩识问题-均值为零的噪声模型的参数辩识通过极小化 的方差来实现即求参数 的估计值使下列准则函数达到极小值,22,准则函数的一阶负梯度令其梯度为零,23,原则上由 式可以求得使 的参数估计值但，因为 的统计性质不知道因此 式实际上还是无法解的,24,如果 式左边的数学期望用平均值来近似则有这种近似使问题退化成最小二乘问题,25,研究 式的随机逼近法解设 是标量，是对应的随机变量 是 条件下 的概率密度函数则随机变量 关于 的条件数学期望为记作它是 的函数，称作回归函数,26,对于给定的设下列方程，具有唯一的解当 函数的形式及条件概率密度函数 都不知道时求下列方程的解释是困难的可以利用随机逼近法求解,27,随机逼近法利用变量 及其对应的随机变量通过迭代计算逐步逼近方程 式的解,28,常用的迭代算法Robbins Monro 算法Kiefer Wolfowitz 算法,29,12.2 极大似然法和预报误差方法,30,引言,极大似然法一种非常有用的传统估计方法由 Fisher 发展起来的基本思想可追溯到高斯（1809 年）用于动态过程辩识可以获得良好的估计性质,31,最小二乘法和梯度校正法计算简单参数估计具有优良的统计性质噪声的先验知识要求也不高极大似然法基本思想与最小二乘法和梯度校正法完全不同,32,极大似然法需要构造一个以数据和未知参数为自变量的似然函数通过极大化似然函数获得模型的参数估计值,33,意味着模型输出的概率分布将最大可能地逼近实际过程输出的概率分布通常要求具有能够写出输出量的条件概率密度函数的先验知识独立观测的条件下，必须知道输出量的概率分布在序贯观测的条件下，需要确定基于 时刻以前的数据在 时刻输出量的条件概率分布,34,预报误差方法需要事先确定一个预报误差准则函数利用预报误差的信息来确定模型的参数某种意义上与极大似然法等价的或极大似然法的一种推广,35,极大似然法和预报误差方法优点：参数估计量具有良好的渐近性质缺点：计算量比较大,36,极大似然原理,设 是一个随机变量在参数 条件下 的概率密度函数为 的 个观测值构成一个随机序列 个观测值记作则 的联合概率密度为 的极大似然估计就是使 的参数估计值,37,即有或,38,对一组确定的数据 只是参数 的函数已不再是概率密度函数这时的 称作 的似然函数以示区别有时记作概率密度函数和似然函数有着不同的物理意义但数学表达式是一致的,39,极大似然原理的数学表现或-对数似然函数-极大似然参数估计值使得似然函数或对数似然函数达到最大值,40,物理意义（极大似然原理的数学表现）对一组确定的随机序列设法找到参数估计值使得随机变量 在 条件下的概率密度函数最大可能地逼近随机变量 在（真值）条件下的概率密度函数上式反映极大似然原理的本质，但数学上不好实现,41,预报误差参数辩识方法,极大似然法要求数据的概率分布是已知的通常都假设它们是服从高斯分布的实际问题不一定满足这一假设如果数据的概率分布不知道使用极大似然法存在着一定的困难,42,预报误差法不要求数据概率分布的先验知识解决更加一般问题的一种辩识方法极大似然法的一种推广当数据的概率分布服从正态分布时等价与极大似然法,43,预报误差准则,考虑更加一般的模型-维的输出向量-维的输入向量-模型的参数向量-噪声项，其均值为零，协方差为-输出量的初始状态，计算 的必要信息,44,置则模型 式写成 时刻的输出可以用 时刻以前的数据来刻划,45,在获得数据 和 的条件下对输出 的“最好”预报可取它的条件数学期望值使得这种“最好”的输出预报应是“最好”模型的输出可通过极小化预报误差准则来获得,46,常用的误差预报准则加权阵-预先选定的矩阵或其中,47,当 时 将收敛于 的协方差阵通过极小化 或 获得的参数估计值称作预报误差估计它用不着数据概率分布知识,48,12.3 其他两种辩识方法,49,Bayes 方法,基本原理所要估计的参数看作随机变量设法通过观测与该参数有关联的其他变量以此来推断这个参数,50,例如 Kalman 滤波器是典型的 Bayes 方法不可观测的待估计的状态变量 看作随机变量状态变量与可观测的输入输出变量是密切相关的正是基于这些可观测的输入输出变量推断不可观测的状态变量,51,设 是描述某一动态过程的模型 是模型 的参数，反映在动态过程的输入输出观测值中如果过程的输出变量 在参数 及其历史记录 条件下的概率密度函数是已知的记作-时刻以前的输入输出集合,52,根据 Bayes 观点，参数 的估计问题表述成参数 看作具有某种验前概率密度 的随机变量设法从输入输出数据中提取关于参数 的信息后者可以归结为参数 的验后概率密度函数 的计算问题,53,其中-时刻以前的输入输出数据集合 与 之间的关系 和-过程 时刻的输入输出数据,54,如果 是确定的变量，利用 Bayes 公式参数 的验后概率密度函数可表示成参数 的验前概率密度函数 及数据的条件概率密度函数 是已知的,55,原则上根据 式可以求得参数 的验后概率密度函数实际上这是困难的只有在参数 与数据之间的关系是线性的，噪声又是高斯分布的情况下才有可能得到 式的解析解,56,求得参数 的验后概率密度函数后可进一步求得参数 的估计值常用的方法极大验后参数估计方法条件期望参数估计方法极大验后参数估计方法和条件期望参数估计方法统称为 Bayes 方法,57,模型参考自适应辩识方法,“模型参考”概念广泛用于自适应控制中如果控制系统希望达到的控制性能指标用一个称作参考模型的理想化控制系统的性能来描述以 表示每一瞬间时实际过程与参考模型之间的特性的差异根据差异，不断修改控制器参数可使实系统的控制性能指标尽可能的接近参考模型,58,模型参考自适应控制原理,59,同样“模型参考”概念可用于实时在线辩识模型参考自适应控制相反被辩识的对象扮演参考模型的角色,60,模型参考自适应辩识原理,61,当可调模型的结构已知时根据可调模型与参考模型（实际过程）之间的输出偏差 进行适当的运算通常采用积分+比例运算根据运算结果不断修改可调模型的参数使在一组已知的输入下可调模型的输出尽可能地接近参考模型的输出,62,当可调模型与参考模型之间的差别无法进一步改善时可调模型的参数就是实际过程参数的估计值模型参考自适应辩识方法，按基本结构可分并联串并联串联,