《现代谱估计》PPT课件.ppt

1,高阶谱(多谱)估计,2,第四章 自适应信号处理,郑宝玉,3,内 容,最优滤波理论与Wiener滤波器梯度下降算法横向LMS自适应滤波器横向RLS自适应滤波器Kalman滤波器自适应格型滤波器盲自适应滤波器自适应滤波器的应用,4,最优滤波理论与Wiener滤波器,最优预测和滤波 最优滤波理论 正交性原理 Wiener滤波器,5,估计问题 在许多实际问题中，需要研究随时间变化的随 机变量或随机矢量的估计问题，即按照某种最 优准则对随时间变化的随机变量或随机矢量作 出估计。不同称谓-在通信工程中称为波形估计-在控制工程中称为动态估计,最优预测和滤波,波形估计与动态估计,6,滤波与预测,滤波定义 所谓滤波,是指在含噪信号x(k)=s(k)+v(k)或其矢 量信号x(k)=s(k)+v(k)中尽可能排除噪声v(k)或v(k)干扰，而将有用信号s(k)或s(k)分离或提取出来。滤波、预测与平滑 设基于观测过程x(k)或矢量观测过程x(k)，对 s(k+)或s(k+)作最优估计，那么 若=0，就是滤波问题。若0，就是预测问题。若0，就是平滑问题。,最优预测和滤波,7,维纳滤波 设信号s(k)或s(k)及观测过程x(k)或x(k)是广义平稳的,且 已知其功率谱或自相关函数的知识，则基于观测过程x(k)或x(k)，按线性最小均方误差估计准则，对信号s(k)或s(k)所作的最优估计称为维纳滤波,卡尔曼滤波 设已知信号的动态模型测量方程，则基于过程x(k)及初 始条件，按线性无偏最小方差递推估计准则,对状态s(k)所作的最优估计称为卡尔曼滤波.,最优预测和滤波,维纳滤波与卡尔曼滤波,8,维纳滤波与卡尔曼滤波的特点 维纳滤波和卡尔曼滤波都是随机情况下最优滤波,特点是:维纳滤波:参数固定,适用于平稳随机情况下的最优滤波 且实现简单；卡尔曼滤波:参数时变,适用于非平稳随机情况下最优滤波 且性能优越；维纳滤波与卡尔曼滤波的局限性 只有在信号和噪声统计特性先验已知的情况下,这两种滤 波器才能获得最优滤波。在实际应用中,往往无法得到这 些统计特性的先验知识,或统计特性随时间而变,这时就 无法用这两种滤波器实现最优滤波。,最优预测和滤波,自适应滤波器,9,自适应滤波器的特点 在信号和噪声统计特性先验未知的情况下,自适应滤波器 也能够提供卓越的滤波性能。该滤波器的特点如下。可自动调整其自身参数，使系统特性满足要求；只需很少或根本无需任何关于信号和噪声的先验知识；实现差不多象维纳滤波那么简单，性能接近卡尔曼滤波 自适应滤波器的应用 系统辨识与均衡（如信道估计与均衡；雷达和声纳波束形成(beamforming);噪声中信号的检测、跟踪、增强等；信号或时间序列的自适应预测；语音和图像的自适应预测编码。,最优预测和滤波,自适应滤波器,10,问题描述 考虑如图所示的一般线性离散时间滤波器。设该滤波器 的输入由u(1),u(2),组成，滤波器的脉冲响应w(1),w(2),。令y(n)代表滤波器在时间n时的输出,希望它是期望响应d(n)的估计值。估计误差e(n)定义为期望响应d(n)与滤波器输出y(n)之差,即 对滤波器要求是使估计误差在某种统计意义下“尽可能小”。,线性最优滤波器,最优滤波理论,11,线性最优滤波器（续）,对滤波器的约束 滤波器是线性的。一是为了使信号通过滤波器后不致于发生“畸变”；二是为了便于对滤波器进行数学分析.滤波器是离散时间的，便于系统数字硬件或软件实现.,设计准则:估计误差在某种条件意义下尽可能小的滤波 器称为这一统计意义下的最优滤波器。最常用的最优准 则是使某个代价函数最小化。最典型的代价函数有：估计误差的均方值(最常用的统计优化准则,即MMSE准则)估计误差绝对值的期望值 估计误差绝对值的三次幂或高次幂的期望值,最优滤波理论,12,线性最优滤波器（续）,结论 线性离散时间滤波器的最优设计问题可表述如下：设计线性离散时间滤波器的系数w,使滤波器输出 y(n)在给定输入样本u(0),u(1),的情况下给出期望响应d(n)的估计，并能使估计误差 的均方值 为最小,最优滤波理论,13,正交性原理,根据滤波器原理，n时刻的滤波器输出表示为：,定义代价函数为均方误差的平方,期望信号响应用 表示，定义估计误差为：,14,正交性原理（续）,定义函数对复变量的求导：,其中a,b分别为w变量的实部与虚部,容易看出，,15,正交性原理（续）,上述表明，使得均方误差代价函数最小时的均方误差(即最小均方误差)与输入向量正交。这就是著名的正交性原理。,16,正交性原理（续）,由正交性原理,最优滤波器的输出与输入误差也正交。,17,正交性原理的几何解释,结论：最优滤波器的输出误差与其之前的输入正交，滤波器的输出由输入子空间张成，这输出误差与输入误差也正交。,18,FIR型的Wiener滤波器,19,根据最优滤波器的正交性原理有下式：,等价于，,上式左边的数学期望代表滤波器输入的自相关函数：,右边的数学期望代表滤波器输入与期望输出的互相关函数：,20,Wiener滤波理论,则（X）式可以重新写为：,这就是著名的Wiener-Hopf方程，该方程定义了最优滤波器 必须服从的条件。,定义输入向量,21,定义输入信号的自相关矩阵：,定义输入与期望响应的互相关向量：,Wiener滤波理论（续）,22,Wiener-Hopf方程的解,Wiener-Hopf方程可以写成更紧凑的矩阵表示形式：,若输入信号的自相关矩阵为可逆矩阵，,23,最优滤波器实现存在的问题,1.Wiener滤波器最优权系数可以由计算输入信号的自相关函数和输入信号与期望输出的互相关得到。实际中这两个参数是未知的，需要通过估计得到。而估计需要观测无限长信号。,2.求最优滤波器时需要计算矩阵求逆，其计算复杂度量级是滤波器长度的三次方。,由于存在这些问题，实际实现Wiener滤波时，并不是直接计算得到最优Wiener滤波器的系数，而是代之以LMS,RLS,Kalman等自适应滤波器。,24,内 容,最优滤波理论与Wiener滤波器梯度下降算法横向LMS自适应滤波器横向RLS自适应滤波器Kalman滤波器自适应格型滤波器盲自适应滤波器自适应滤波器的应用,25,梯度下降算法,梯度的数学表示：,相对于 向量 的梯度算子记作，定义为,因此，一个实际量函数 相对于一列向量的梯度为,26,梯度下降算法（续）,梯度的几何特征,梯度的每个分量给出了标量函数在该分量方向上的变化率。,梯度的重要性质,指出了当变元增大时函数的最大增大率。相反，梯度的负值（简称负梯度）指出了当变元增大时函数的最大减小率。这一性质是梯度下降算法的基础。,27,梯度下降算法（续）,极小化 取负曲率方向作搜索方向 取负梯度作目标函数的更新方向。,定理：令 是实向量 的实值函数。将 视为独立的变元，实目标函数 的曲率方向由梯度向量 给出。,28,梯度下降算法（续）,梯度下降算法的迭代过程：,近似解在迭代过程中的校正量与目标函数的负梯度成正比。上式称为优化问题近似解的学习算法；常数 成为学习步长，它决定近似解趋向最优解的收敛速率。,29,内 容,最优滤波理论与Wiener滤波器梯度下降算法横向LMS自适应滤波器横向RLS自适应滤波器Kalman滤波器自适应格型滤波器盲自适应滤波器自适应滤波器的应用,30,自适应滤波基本原理,自适应滤波器包括两个过程：滤波过程和自适应过程。此仅考虑后者,即滤波器的自适应实现问题；且主要考虑 FIR滤波器的自适应实现，其关键是自适应算法。FIR滤波器的自适应实现指的是：M 阶FIR滤波器的抽 头权系数w1,wM-1可以根据估计误差e(n)的大小自动调 节，使得误差在某个统计最优准则下最小。滤波器设计最常用的准则：MMSE准则，即是使滤波器 实际输出y(n)与期望响应d(n)之间的均方误差 最小;最终达到Wiener解。,31,自适应滤波基本原理（续）,式中w(n)为第n步迭代(亦即时刻n)的权向量，为第n步 迭代的更新步长，v(n)为第n步迭代的更新方向(向量),最广泛使用的自适应算法是“下降算法”,下降算法的两种实现方式-自适应梯度算法：LMS算法及其改进算法-自适应高斯牛顿算法：RLS算法及其改进算法 本节介绍LMS类算法，下一节介绍RLS类算法。,32,LMS滤波器,最陡下降法：,随机优化问题：,Wiener滤波器：,真实梯度,33,LMS滤波器（续）,缺点：真实梯度含数学期望，不易求得。,瞬时梯度：,34,LMS滤波器（续）,基本LMS算法：,瞬时梯度分析：,最陡下降法,LMS算法,搜索方向为梯度负方向，每一步更新都使目标函数值减小（“最陡下降含义”）。,搜索方向为瞬时梯度负方向，不保证每一步更新都使目标函数值减小，但总趋势使目标函数值减小。,35,LMS滤波器（续）,梯度下降法要求：不同时间的梯度向量（搜索方向）线性独立。,LMS算法的独立性要求：,要求不同时间的输入信号向量 线性独立（因为随时梯度向量为）。,36,LMS滤波器（续）,自适应学习速度参数及收敛性,（3）“换档变速”方法：固定时变,（2）时变学习速度：（递减），模拟退火法则,（1）固定学习速度：（常数）缺点：偏大 收敛快 跟踪性能差 偏小 收敛慢 跟踪性能好,37,LMS滤波器（续）,例1.（先搜索，后收敛）,例2.（先固定，后指数衰减）,（4）自适应学习速度：“学习规则的学习”,和 正的常数,38,而且可以证明LMS自适应滤波器的权向量收敛于维纳解：,(5)算法收敛性 前已指出，瞬时梯度向量是真实梯度向量的无偏估计：,条件是,LMS算法还必须兼顾收敛速度和失调,它来自梯度估计误差:,LMS滤波器（续）,39,若 自适应产生，则称为自适应步长的LMS算法,LMS算法的几种变形,若 常数，则称为基本LMS算法,若,则称为归一化LMS算法,结论：这些算法通常称为LMS类算法梯度算法。,LMS算法的改进,40,LMS算法的改进（续）,从LMS算法导出牛顿法 前面已导出维纳最优解为,它由梯度 得出，其中,用 左乘上式两边,并将结果代入维纳解公式,得,写成更一般的迭代形式(即牛顿迭代公式)：,41,LMS算法的改进（续）,从LMS算法导出牛顿法（续）,上式可写成更一般的迭代形式：,这就是所谓牛顿法基本迭代式。其中,称为牛顿方向。,统一算法 LMS法与牛顿法可统一为更一般的下降算法:,取不同的 就构成不同的自适应算法。,42,内 容,正交性原理Wiener滤波器梯度下降算法横向LMS自适应滤波器横向RLS自适应滤波器Kalman滤波器自适应格型滤波器盲自适应滤波器自适应滤波器的应用,43,RLS自适应滤波器,基本思想 RLS算法 RLS滤波算法与Kalman滤波算法,44,基本思想 把最小二乘法(LS)推广为一种自适应算法，用来设计自适应的横向滤波器，利用n-1时刻的滤波器抽头权系数，通过简单的更新，求出n 时刻的滤波器抽头权系数。这样一种自适应的最二乘算法称为递归(递推)最小二乘算法,简称RLS算法。,RLS自适应滤波器,45,RLS算法,基本方程 考虑指数加权的最小二乘法，其代价函数为,式中,称为遗忘因子,其作用是对离n时刻越近的误差加越大的权重,而对离n时刻越远的误差加越小的权重,即该参数对各个时刻的误差具有某种遗忘作用。式(1a)中,误差函数定义为,式中表示i 时刻的期望响应。,RLS自适应滤波器（续）,46,RLS算法,i)有些著作中,把式中的 写作,且ii)式中滤波器抽头权向量取为n时刻的权向量,理由如下:在自适应更新过程中,滤波器特性总是越来越好,这意 味着,对任何时刻,总有,iii)和e(i)分别称为滤波器在i 时刻后验和先验估计误差,关于误差函数定义式(i=0,2,n)的讨论,RLS自适应滤波器（续）,故使用 作为误差函数比使用e(i)更为合理。即,47,RLS自适应滤波器（续）,合并(1a)和(1b)得,从而由,48,RLS自适应滤波器（续）,记,49,RLS算法,其解,式中,式(4)表明,指数加权最小二乘问题(1)的解亦为维纳解。下面考虑它的自适应更新问题。,RLS自适应滤波器（续）,根据上面的推导，可以得出,50,RLS算法,自适应更新:,令P(n)=R-1(n)利用,可得,定义,则有,RLS自适应滤波器（续）,51,RLS算法,RLS自适应滤波器（续）,利用式(7)、(8),易证,52,RLS算法,RLS自适应滤波器（续）,再利用(3)、(5b)和(8)、(9a)得,53,RLS算法,RLS自适应滤波器（续）,根据上式,有,其中,54,RLS算法,RLS自适应滤波器（续）,下面比较RLS和LMS算法。为此，将其迭代公式重列如下：,结论:用Kalman增益向量k(n)代替LMS算法中 即得RLS算法。,55,RLS算法,RLS自适应滤波器（续）,步骤1：初始化：,是一个的正数 步骤2：更新：对n=1,2,计算,RLS算法步骤:,56,RLS算法,RLS自适应滤波器（续）,RLS算法的收敛速度问题,故,结论:RLS算法在权向量的更新方程中,比LMS算法多了迭代矩阵P(n),而该矩阵可看作代价函数二阶导数矩阵的近似逆矩阵,因此RLS收敛速度快于LMS算法.,而,作为比较,再次重列LMS算法迭代式：,因,