基本自适应算法.ppt

河南工业大学,第五章 基本自适应算法,5.1LMS算法5.2RLS算法,5.1 LMS算法,河南工业大学,下图所示为自适应横向滤波器的结构及其功能：（1）具有可调节抽头权系数的横向滤波器，权系数，表示在n时刻的值。（2）在自适应状态能调节这些权系数的机理过程。这个过程首先自动调节滤波器系数的自适应训练步骤，然后利用滤波系数加权延迟线抽头上的信号来产生输出信号，将输出信号与期望信号进行对比，所得的误差值通过一定的自适应控制算法再用来调节权值以保证滤波器处在最佳状态，达到实现滤波的目的。,最陡下降法,河南工业大学,河南工业大学,显然，输出信号y(n)是(5-1)e(n)=d(n)-y(n)(5-2)自适应滤波器控制机理是用误差序列e(n)按照某种准则和算法对其系数 进行调节的，最终使代价函数最小化，达最佳滤波状态.按照均方误差（MSE）准则所定义的目标函数为：F(e(n)=(n)=E(e(n)=Ed(n)-2d(n)y(n)+y(n)(5-3),河南工业大学,综合前面几个式子目标函数可以写成(n)=Ed(n)-2Ed(n)wT(n)x(n)+EwT(n)x(n)xT(n)w(n)(5-4)当滤波系数固定时，目标函数又可写成：(n)=d(n)-2wTP+wTRw(5-5)可见，自适应滤波器的目标函数是延迟线抽头系数（加权或滤波系数）的二次函数。当矩阵R和矢量P已知时，可以由权系数矢量w直接求其解。,河南工业大学,令 代表n时刻的M*1维度矢量，M为滤波器系数的数目，w(n)为自适应滤波器在n时刻的滤波系数或权矢量。按照最陡下降法调节滤波系数，则在n+1时刻的滤波系数或权矢量w(n+1)可以用下列简单递归关系来计算 w(n+1）=w(n）+1/2-(5-6)其中是一个正实数，通常称它为收敛因子或步长，n为迭代次数,为梯度矢量.根据梯度矢量定义，(n)可以写成(5-7),河南工业大学,当系数为最佳值,即是维纳解,梯度矢量应等于零即：Ee(n)x(n)=0(5-8)则误差性能函数的梯度向量为：=2RW(n)-2P(5-9)权值迭代算法的基本表达式为：w(n+1)=w(n)+P-RW(n)(5-10)在MMSE准则下最陡下降算法稳定收敛的充分必要条件为:0 2/max 式中max 为相关矩阵R的最大特征值.,河南工业大学,最小均方(LMS)算法,1、LMS算法的基本原理 最小均方（LMS）自适应算法就是一种以期望响应和滤波输出信号之间误差的均方值最小为准的，依据输入信号在迭代过程中估计梯度矢量，并更新权系数以达到最优的自适应迭代算法。LMS算法是一种梯度最速下降方法，其显著的特点是它的简单性。这算法不需要计算相应的相关函数，也不需要进行矩阵运算。1960年美国斯坦福大学的Widrow等提出了最小均方（LMS）算法，这是一种用瞬时值估计梯度矢量的方法.(5-11),河南工业大学,2、LMS算法的公式 按照自适应滤波器滤波系数矢量的变化与梯度矢量估计的方向之间的关系，可以写出：(5-12)把前面所推关系式代入式(5-11)得：(5-13),河南工业大学,3、LMS算法原理框图,图LMS算法原理流图,河南工业大学,4、LMS算法的计算步骤如下：我们利用时间n=0的滤波系数矢量为任意的起始值W(0)，然后开始。(1)由现在时刻n的滤波器滤波系数矢量估值，输入信号矢量x(n)以及期望信号d(n),计算误差信号：(5-14)(2)利用递归法计算滤波器系数矢量的更新估值：(5-15)(3)将时间指数n增加1，回到步骤(1)，重复上述计算步骤，一直到达稳态为止.由此可见,LMS算法简单，它既不要计算输入信号的相关函数，又不要求矩阵之逆，因而得到了广泛的应用。但是，由于LMS算法采用梯度矢量瞬时估计，它有大的方差，以致不能获得最优滤波性能。,河南工业大学,5、LMS算法的性能分析一、自适应收敛性 自适应滤波器系数矢量的起始值w(0)是任意常数，应用LMS算法调节滤波系数具有随机性而使系数矢量w(n)带来非平稳过程，通常为了简化LMS算法的统计分析，往往假设算法连续迭代之间存在以下的充分条件：（1）每个输入信号样本矢量x(n)与其过去全部样本矢量x(k),k=0,1,2,n-1是统计独立的，不相关的，即：Ex(n)xH(K)=0;k=0,1,2,n-1(5-16),河南工业大学,（2）每个输入信号样本矢量x(n)与全部过去的期望信号d(k)k=0,1,2,n-1也是统计独立且不相关的，即：Ex(n)d(k)=0;k=0,1,2,n-1(5-17)（3）期望样本信号d(n)依赖于输入过程样本矢量x(n)，但全部过去的期望信号样本是统计独立的.（4）滤波器抽头输入信号矢量x(n)与期望信号d(n)包含着全部n的共同的高斯分布随机变量.,河南工业大学,由前面的计讨论可知，自适应滤波器在n+1时刻的滤波系数矢量 依赖于三个输入：（1）输入过程的过去样本矢量x(k),k=n,n-1,0;（2）期望信号的以前样本值d(k),k=n,n-1,0;（3）滤波系数矢量的起始值.现在将系数误差矢量w(n）代入式(5-15)得(5-18)式中wo是最佳滤波系数矢量，w(n）是误差矢量即w(n）=w(n)-w0,河南工业大学,如将W0移至等式左边，则 等于系数误差矢量的更新值，于是式(5-18)可写成(5-19)对式(5-19)两边取数学期望，得到(5-20)LMS算法与前述最陡下降算法有相同的精确数学表达式。,河南工业大学,因些，要使LMS算法收敛于均值，必须使步长参数满足下列条件：0 2/max(5-21)max是相关矩阵R的最大特征值。在此条件下，迭代计算次数n接近无穷大时，自适应滤波系数矢量w(n)近似等于最佳维纳解w0。,河南工业大学,二、平均MSE-学习曲线 如前节所述，最陡下降算法每次迭代都要精确计算梯度矢量，使自适应横向滤波器权矢量或滤波系数矢量w(n)能达到最佳维纳解w0,这时滤波器均方误差（MSE）为最小.LMS算法用瞬时值估计梯度存在误差的噪声估计，结果使滤波器权矢量估值只能近似于最佳维纳解，这意味着滤波均方误差(n)随着迭代次数n的增加而出现小波动地减小，最后()不是等于而是稍大于其值。如下图所示，步长参数选用的越小，则噪化指数衰减曲线上的波动幅度将越小，即学习曲线的平滑度越好.,河南工业大学,对于自适应横向滤波器总体来说，假设每个滤波器LMS算法用相同的步长和同等的起始系数矢量w(0),并从同一统计群体随机地选取各个平稳的各态历经（遍历性）的输入信号，由此计算自,河南工业大学,适应滤波器总体平均学习曲线，如下图所示，这是一个平滑的总体平均学习曲线，通常它是由50到200个单独LMS算法的结果加以平均而得到的，显然，我们可以用E(n)表示的平均LMS来描述LMS算法的动态性质.,河南工业大学,三、失调 在自适应滤波器中，失调(Misadjustment)是衡量其滤波性能的一个技术指标，它被定义为总体平均超量均方误差值ex()与最小均方误差min 之比，即(5-22)证明可知：(1)失调为自适应LMS算法提供了一个很有用的测度，比如，10%失调意味着自适应算法所产生的总体平均MSE高于最小均方误差的增量值为10%；(2)失调是随滤波系数数目线性增加的；(3)失调可以做得任意小，只要选用大的时间常数，也就是小的步长值即可。,河南工业大学,但是，滤波器自适应收敛过程需要长的时间，影响了滤波器自学习、自训练的速度，所以，自适应滤波器LMS算法的失调与自适应收敛过程之间存在着矛盾，如何缩短收敛过程，而且有很小的失调，这是值得研究的问题。,5.2 RLS算法,河南工业大学,5.2.1 预备知识5.2.2 矩阵求逆引理5.2.3 指数加权递归最小二乘算法5.2.4 正则化参数的选择5.2.5 误差平方加权和的更新递归,河南工业大学,在本节中，我们将推广最小二乘的应用，以便推出一种设计自适应横向滤波器的递归算法。即给定n-1次迭代滤波器抽头权向量最小二乘估计，依据新到达的数据计算n次迭代权向量的最新估计。我们把这一算法称为递归最小二乘（RLS，recursive least-squares）算法（滤波器）。,河南工业大学,在RLS 滤波器的推进过程中，我们首先回顾最小二乘法的一些基本关系式。然后，应用矩阵代数中矩阵求逆引理所揭示的关系，导出RLS滤波器。RLS滤波器的一个重要特点是，它的收敛速率比一般的LMS滤波器快一个数量级。这是因为RLS滤波器通过利用数据相关矩阵之逆，对输入数据（假定这些数据的均值为零）进行了白化处理。然而，性能的改善以RLS滤波器计算复杂性的增加为代价。,河南工业大学,在最小二乘的递归实现中，我们从给定的初始条件出发，通过应用新的数据样本值中所包含的信息对旧的估计值进行更新。因此我们发现，可测数据的长度是可变的。因而，把待最小化的代价函数表示为(n)，其中n是可测数据的可变长度。另外，习惯上还在(n)的定义中引入加权因子。于是，可以写出(5-23)其中e(i)是期望d(i)与i时刻抽头输入为 的横向滤波器输出y(i)之差，如下图5-所示。,5.2.1 预备知识,u(i),u(i-1),u(i-M+1),河南工业大学,图5-5具有时变抽头权值的横向滤波器,即,(5-2),河南工业大学,其中u(i)是i 时刻的抽头输入向量，定义为(5-25)式中w(n)是n时刻抽头权向量，定义为(5-26)注意，在代价函数定义的观测区间i n内，横向滤波器的抽头权值保持不变式（5-23）中的加权因子 满足如下关系 i=1,2,n,河南工业大学,一般说来，加权因子 的使用是为了保证“遗忘”掉久远的过去数据，以便当滤波器工作在非平稳时，能跟踪观测数据的统计变化。通常所用的加权因子是指数加权因子，或所谓遗忘因子,定义为(5-27)式中是一个接近1，但又小于1的正常数。当=1时,对应一般的最小二乘法。粗略地说，1-的倒数可以用来衡量算法的记忆能力；而=1的特殊情况，则应对于无限记忆。,i=1,2,n,河南工业大学,正则化,最小二乘估计和最小二乘法一样，是一个病态的求逆问题。在该问题中，给定构成抽头输入向量u(n)的输入数据和相应的期望响应d(n)（其中n是变量），要求估计出多重回归模型中的未知向量，该向量与d(n)和u(n)有关 最小二乘估计的病态特性源于以下原因：输入数据中的信息不足以唯一地构建输入输出间的映射关系。在输入数据中不可以避免地存在着噪声或不精确性，这为构建输入输出映射关系增加了不确定性。,河南工业大学,为使估计问题变为非病态，需要某种与输入输出映射关系有关的先验信息。这意味着必须扩展代价函数公式，使其能考虑先验信息。为满足这一需要，我们把待最小化的代价函数扩展为两部分之和(5-28)（这里假设使用了预加窗）代价函数的两个分量如下：1）误差加权平方和(5-29),河南工业大学,它与输入数据有关。这个分量反映出期望响应d(i)与滤波器实际响应y(i)之间的指数加权误差，且y(i)与抽头输入向量u(i)的关系可用公式表示为,2)正则化项,式中 是一个正实数，称为正则化参数除了因子外，正则化项只取决于抽头权向w(n).将这一项包含在代价函数中，以便通过平滑作用来稳定递归最小二乘问题的解。,(5-30),(5-31),河南工业大学,从严格意义上说，项是正则化的近似形式。原因有两个:(1)首先指数加权因子介于01之间；从而，当1时，随着n的增大趋于零。这意味着时间的推移，项对代价函数的影响会逐渐减小（即逐渐被遗忘）。(2)正则化项应是 形式，其中 是由RLS滤波器实现的输入输出映射关系，D是差分算子。式(5-28)的正则化项通常用在RLS滤波器设计中。,河南工业大学,正则方程的变形,将式(5-28)展开并进行整理，我们发现，在代价函数 中增加正则化项，相当于将抽头输入向量u(i)的MM时间平均相关矩阵表示为,式中I是 MM单位阵。容易发现，增加正则化项还有这样的作用：它使得相关矩阵(n)在从n=0开始的整个计算过程中非奇异。将上式修正为相关矩阵的过程叫做对角加载。,(5-32),河南工业大学,横向滤波器抽头输入与期望响应之间的M时间平均互相关向量z(n)为,它将不受正则化的影响，此处依然假定使用预加窗法。根据前面讨论过的最小二乘法，可使用代价函数获得最小值的最优M抽头权向量 由正则方程定义。递归最小二乘问题的正则方程可用矩阵形式写为：这里的(n)和z(n)分别由式(5-32)和式(5-33)决定。,(5-33),(5-34),河南工业大学,将对应于i=n的项与式(5-32)右边的求和项分开，可写出根据定义，上式右边括号内的表达式等于相关矩阵(n-1)。于是，可得用于更新抽头输入相关矩阵的递归公式其中(n-1)是相关矩阵的过去值，矩阵乘积 在更新过程中起着“修正”项的作用。注意，上式的递归过程与初始条件无关。,(n)和z(n)的递归算法,(5-35),(5-36),河南工业大学,类似地，可以导出抽头输入与期望响应之间互相关向量的更新公式,为了按式(5-32)计算抽头权向量 的最小二乘估计，必须确定相关矩阵(n)的逆。然而在实际中，我们通常尽量避免这样做，因为这种运算非常耗时，特别是当抽头数M很大时。另外，我们希望能够递归计算n=1,2,时抽头权向量 的最小二乘估计。我们发现，利用矩阵代数中矩阵求逆引理，可以实现上述两个目标。,(5-37),河南工业大学,5.2.2 矩阵求逆引理,设A和B是两个MM正定阵，它们之间的关系为其中，D是NM正定阵，C是MN矩阵。根据矩阵求逆引理，可将A的逆矩阵表示为该引理在此不做证明，书中有介绍。在下一节，我们将说明怎样应用矩阵求逆引理，得到计算抽头权向量 最小二乘解的递归公式。,(5-38),(5-39),河南工业大学,5.2.3 指数加权递归最小二乘算法,假定相关矩阵(n)是非奇异的，因而它可逆。我们对式(5-36)所表示的递归方程应用矩阵求逆引理，首先做如下设定,河南工业大学,然后，将这些定义代入矩阵求逆引理，可得计算相关矩阵逆阵的递归方程如下为了方便计算，令和,(5-40),(5-41),(5-42),河南工业大学,用上面的定义，可将式(5-40)改写为MM矩阵P(n)叫做逆相关矩阵，M1向量K(n)叫做增益向量，后面将会解释这样叫的原因。式(5-43)是RLS算法的Riccati 方程。整理K(n)表达式，可得,(5-43),(5-44),河南工业大学,换句话说，增益向量K(n)可以定义为经相关矩阵(n)逆矩阵变换的抽头输入向量u(n).,这一结论，连同 可以用来定义增益向量,我们可以将上式简化为 K(n)=P(n)u(n),(5-45),(5-46),河南工业大学,抽头权向量的时间更新,下面，我们要导出更新抽头权向量最小二乘估计 的递归公式。为此，用式(5-32)、式(5-37)、式(5-41)来表示抽头权向量n次迭代时的最小二乘估计,(5-47),将式(5-47)右边第一项中P(n)用式(5-43)代替，可得,河南工业大学,最后，应用P(n)u(n)等于增益向量K(n)，可得更新抽头向量的递归方程为,(5-48),(5-49),河南工业大学,其中,是一个先验估计误差。內积 表示基于n-1时刻抽头权向量最小二乘估计旧值的期望响应d(n)的估值。根据调整抽头权向量的表达式和表示先验估计误差的表达式可用图5-6(a)所示的框图表示递归最小二乘算法。,(5-50),河南工业大学,一般说来，先验估计误差(n)不同于下式(5-51)的后验估计误差 其计算设计抽头权向量在时刻n（当前时刻）的最小二乘估计。实际上，我们可以将(n)视为更新抽头权向量之前e(n)的暂时值。但要注意的是，在导出式(5-49)递归算法的最小二乘优化问题中，我们实际上是基于e(n)而不是基于(n)使代价函数(n)最小。,(5-51),河南工业大学,输出,RLS算法,+,-,河南工业大学,RLS算法小结,式(5-42),(5-43),(5-49),(5-50)组成了RLS算法，并在表(5-1)中总结。特别要注意的是，式(5-50)表述了该算法的滤波过程，据此激励横向滤波器以计算先验估计误差(n)。式(5-49)描述了算法的自适应过程，据此可通过在其过去值的基础上增加一个量来递推抽头权向量，该量等于先验估计误差(n)复共轭与时变增益向量K(n)的乘积(“增益向量”由此得名)。,河南工业大学,式(5-42),(5-43),使得我们能够更新增益向量本身。上述RLS算法的一个重要特点是，每一次迭代中的相关矩阵(n)的逆矩阵为简单的标量相除所代替。图(5-6a)给出RLS算法的框图，图(5-6b)则是RLS算法的信号流图。,表1 RLS算法小结,算法初始化,河南工业大学,表1续,河南工业大学,注意，在表1的总结中，增益向量K(n)的计算分两步进行：首先，计算用 表示的中间量。第二，用 计算K(n)从有限精度运算的角度看，分两步计算K(n)比直接用式(5-25)计算K(n)更可取。为对RLS滤波器进行初始化，需要指定两个量：初始权向量。习惯上令。初始相关矩阵(n)。令式(5-8)中的n=0，如果使用预加窗，可以得到 其中是正则化参数。参数的设定与信噪比有关，高信噪比时取小值；低信噪比时则取较大值。这样做的合理性可以在正则化的意义得到证明。,河南工业大学,5.2.4 正则化参数的选择,在Moustakides的详细研究(1997)中，评价了在平稳环境下RLS算法的收敛性能，它有两个特殊的可变参数：抽头输入数据的信噪比(SNR)，这个量由流行的运行条件决定。正则化参数，它由设计人员控制。,河南工业大学,为了总结Moustakides研究成果的实验条件，用F(x)表示一个关于x的矩阵函数，用f(x)表示一个关于x的非负标量函数。其中，变量x属于集合。于是，我们可引入如下定义 F(x)=(f),(5-52),河南工业大学,河南工业大学,河南工业大学,河南工业大学,有了这些定义和三种不同的初始条件，我们可以总结出式(5-35)支配下RLS算法初始化过程中有关正则化参数的选择方法(moustakides,1997)如下：1）高信噪比：当抽头输入噪声电平低（即输入SNR较高，如30dB或更高数量级）时，RLS算法呈现指数级的快速收敛率，只要相关矩阵以足够小的范数初始化。典型地，通过设定=1来满足这个要求。随着减小到零即随着(0)的矩阵范数增加，RLS算法的收敛性会变差。,河南工业大学,2）中等信噪比：在中等SNR环境下（即输入SNR为10dB数量级时），RLS算法的收敛速率比高信噪比情况下的最佳收敛速率要差。但是RLS算法的收敛特性对-10范围内矩阵(0)范数的变化不敏感。,河南工业大学,3）低信噪比：最后一点，当抽头输入的噪声电平较高（即输入信噪比SNR为-10dB数量级或更低）时，用具有较大矩阵范数的相关矩阵(0)对RLS算法初始化（即-1）更可取，因为这种条件可以产生最好的全局性能。,河南工业大学,这些结论对平稳环境或慢时变环境成立。但是，如果环境状态突变，而且这一变化发生在RLS滤波器达到稳态时，则该滤波器就会将这一突变视为用较大的(0)进行新一轮的初始化，这里的n=0对应于环境突变的那个瞬间。在这种情况下，最好停止RLS滤波器的工作，改用一个较小的(0)进行初始化而重新开始新一轮的迭代。,河南工业大学,5.2.5 误差平方加权和的更新递归,当抽头权向量等于其最小二乘估计 时，误差平方加权和可达到最小值.,为计算，可用关系式,(5-60),其中 定义(使用本章的表示)为,(5-61),河南工业大学,(5-62),上式最后一项中的z(n)已被还原为原来的形式。根据定义，式(5-62)右边第一个括号中的表达式等于。另外，根据定义，第二个括号中的表达式等于先验误差(n)的复共轭。,因此，将式(5-37)(5-49)和式(5-61)代入式(5-60)，得,河南工业大学,上式中，第二行应用了相关矩阵(n)的埃尔米特性质，在第三行用到了 等于最小二乘估计.,对最后一项，我们用增益向量K(n)的定义来表示内积.,河南工业大学,其中e(n)是后验估计误差。式(5-63)是更新误差加权平方和的递归公式。由此可见，(n)的复共轭与e(n)的乘积表示更新过程中的修正项。注意，该乘积是实数，这意味着，总有,(5-64),(5-63),因此，式(5-62)可化简为,河南工业大学,收敛因子,式(5-63)涉及两种不同的估计误差：先验估计误差(n)和后验估计误差e(n)，它们之间有着本质的联系。为了建立这种估计误差之间的联系，可从式(5-51)的定义出发，将式(5-49)代入(5-51)，得,(5-65),河南工业大学,上式中的最后一行，应用了式(5-50)的定义。后验估计误差e(n)与先验估计误差(n)的比值称为收敛因子，记为r(n)。因此，可以写出,(5-66),其值由增益向量k(n)和抽头输入向量u(n)唯一确定。,河南工业大学,示例：单个权值自适应噪声消除器,下面，我们考虑如下图-所示的单一加权双输入自适应噪声消除器。两个输入微机部信号d(n)（由承载信息的信号分量和加性干扰组成）和参考信息 u(n)（它与干扰相关而与承载信息的信号无关）。要求利用参考信号与基本信号的相关性，抑制自适应噪声消除器输出端的干扰。,河南工业大学,河南工业大学,应用RLS算法可得该消除器的一组方程，经整理为,(5-67),(5-68),(5-69),河南工业大学,在最后一个方程 中，零均值参考信号u(n)的方差估计是P(n)的倒数，它是RLS算法中矩阵P(n)的标量形式，即,(5-71),(5-70),河南工业大学,将式(5-67)(5-70)描述的算法与应用归一化LMS算法得到的一组方程进行比较，能够获得一些新的认识。在我们所介绍的范围内，人们特别感兴趣的归一化LMS算法由前面章节中给出。RLS算法与归一化LMS算法之间的主要差别在于，归一化LMS算法中的常数被RLS算法中增益因子k(n)分母中的时变项 所代替。该因子控制着式(5-59)中RLS滤波器抽头权值的修正。,河南工业大学,RLS算法的收敛性分析,本节将讨论平稳环境下RLS算法的收敛特性，此处假定为1(小于1的情况这里不予讨论)。为了给出下面的讨论做准备，我们做三点假设，这三点都它们各自的合理性。,河南工业大学,假设 期望响应d(n)与抽头输入向量u(n)之间的关系由如下多重线性回归模型描述,其中 是回归参数向量，是测量噪声，它是均值为零、方差为 的白噪声，因而与回归量u(n)无关。,(5-72),河南工业大学,图5-8给出了式(5-72)所述关系。,图5-8 多重线性回归模型,河南工业大学,假设 输入信号向量u(n)由随机过程生成，其自相关函数是各态历经的。假设意味着，可用时间平均代替集平均，特别地，可将输入向量u(n)的集平均相关矩阵表示为,对于nM,(5-73),其中(n)是u(n)的时间平均相关矩阵，且要求nM,以保证横向滤波器的每一个抽头上部有输入信号。式(5-73)的近似将随着时间n的增加得到改善。,河南工业大学,假设 加权误差向量(n)的波动比输入信号向量u(n)的波动慢。假设成立的合理性在于，加权误差向量(n)是RLS算法n次迭代中一系列变化量的累加。这一性质可表示为,(5-74),此式由式(5-49)得出。尽管K(i)和 都与u(i)有关，但式(5-74)中的和对(n)具有平滑作用。实际上，RLS滤波器起到了时变低通滤波器的作用。下面的讨论都是基于以上u(n)和d(n)的三点假设。,河南工业大学,RLS算法的均值收敛性,由正则方程(5-34)解,可得,nM,其中，对=1有,(5-75),和,(5-76),(5-77),将式(5-62)代入式(5-77)，然后应用式(5-76)，可得,河南工业大学,(5-78),式中的最后一行，我们应用了=1时的式(5-32)。由此，可以将式(5-75)重新写为,(5-79),对式(5-79)的两边取数学期望，并引用假设和假设，可以写出,河南工业大学,nM,(5-80),其中p是期望响应d(n)与输入向量u(n)之间的集平均互相关向量。式(5-80)表明，RLS算法在均值意义上是收敛的。如果n大于滤波器长度M的有限值，则由于用(0)=I 对算法进行初始化，所以估计 是有偏的。但当n趋于无限时，偏差将趋于0。,河南工业大学,RLS算法的均方偏差,加权误差相关矩阵定义为,(5-81),将式(5-79)代入式(5-81)，并且忽略初始化的影响(这一点对nM成立)，可得,河南工业大学,在假设条件下，输入向量u(n)以及由它所得的 与测量噪声 无关。因此，可以将K(n)表示为两个期望的积,由于测量噪声 是白色的（假设），我们有,(5-82),河南工业大学,其中 是 的方差。因此，加权误差相关矩阵变为,最后，引用嵌入在式(5-73)中的假设，可写出,nM,(5-83),河南工业大学,均方偏差定义为,(5-84),其中tr.表示矩阵求逆算子。根据式(5-83),RLS算法的均方偏差为,nM,(5-85),河南工业大学,其中 是集平均相关矩阵R的特征值。根据式(5-85)，我们现在可以对于nM的情况得出如下两点重要结论：1)均方偏差 被最小特征值 的倒数放大。因此，对于下一阶近似，RLS算法对特征值扩散的敏感性正比于最小特征值的倒数。因此，病态的最小二乘问题会使收敛性能变差。,河南工业大学,2)均方偏差 随迭代次数n几乎成线性衰减。因此，由RLS算法得到的估计 几乎随时间线性地按范数（即“均方”）收敛于多重线性回归模型的参数向量。,河南工业大学,RLS算法集平均学习曲线,在RLS算法中，存在两类误差(n)和后验估计误差e(n).给定表中的初始条件，可以发现这两种误差均方值随时间n不同地变化。当n=1时,(n)的均方值较大等于期望响应d(n)的均方值，然后随着n的增大而衰减。另一方面，当n=1时，e(n)的均方值较小，然后随着n的增大而增大，以致增加到e(n)等于(n)时一个n较大的点。因此，选择(n)作为感兴趣的误差，可得到一个与LMS算法学习曲线形状相同的RLS算法学习曲线。,河南工业大学,于是，我们能够通过图形直接在RLS算法与LMS算法的学习曲线之间进行比较。因此，我们可以先验估计误差(n)为基础计算RLS算法的集平均学习曲线，得,(5-86),式中的撇号用来区分(n)与e(n)的均方值,河南工业大学,(5-87),其中包括(n-1)的第二项是无干扰估计误差。将式(5-87)代入式(5-86),然后展开，可得,(5-88),在式(5-50)和式(5-72)之间消除期望响应d(n),可以将先验估计误差表示为,河南工业大学,为了处理式(5-88)中的四个数学期望项，要注意以下几点：由式(5-82)可知，的期望值是。,第二个期望可表示为,河南工业大学,在假设条件下，n次迭代时加权误差向量外积的随机波动慢于外积。因此，我们可利用直接平方法写出,(5-89),河南工业大学,将式(5-83)代入式(5-89)得(其中M是滤波器长度),nM,(5-90),第三个期望等于零。原因有两个：首先，将n时刻视为现时刻，则加权误差向量(n-1)取决于输入向量u(n)和测量噪声 的过去值 参见式(5-74)。第二，在假设条件下，u(n)和 是统计独立的，而且,河南工业大学,(5-91),e(n)的均值为零。因此，可以写出,除了共轭差别外，第四个期望与第三个期望的形式相同。因此，第四个期望也等于零。将这些结果用于式(5-88),可写出,nM,(5-92),河南工业大学,2)随着迭代次数n趋于无限，均方误差 趋于测量误差 的方差。换句话说，RLS算法理论上的额外均方误差为零(也就是零失调)。,在式(5-92)的基础上，我们可以得出如下结论：1)RLS算法集平均学习曲线的收敛大约需要2M次迭代，其中M是滤波器长度。这意味着RLS算法的收敛速度比LMS算法快一个数量级。,河南工业大学,3)RLS算法在均方意义上的收敛性独立于输入向量u(n)集平均相关矩阵R的特征值。在本节所介绍的RLS算法收敛性分析中，均假设指数加权因子等于1（即算法是无记忆的）。当位于0 1范围的情况，这里不予讨论。感兴趣的同学可以参看西蒙.赫金编写的自适应滤波器原理这本书的第14章。,