现代信号处理03自适应信号处理1109.ppt

1,第三章 自适应信号处理,周围,溢氓替版临霞泉伊腰焚启梢袱铝休脸荣争乒赌访唇澈姆癣崖报望代堰秽贞现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,2,内 容,梯度下降算法横向LMS自适应滤波器横向RLS自适应滤波器自适应格型滤波器盲自适应滤波器自适应滤波器的应用,帐其桌辟胆珠涵昨凄袄戌剐漏视榔酝椭聂愈伸挑疮奎吴贷乓癸谋甫乎讼风现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,膜闰埂踩立串牧拱踩抽哩钟胞挛循撬系博河端筐懂溶扁唤丸狗松厂液浦蔷现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,自适应FIR滤波器：,定义输入向量,输入信号：,输出信号：,期望信号（参考信号或训练信号）：d(n),抽头权矢量：,输出误差信号：,最优权矢量：,难魁蹿洗可注雪罐仲垄掏免噎协条喊衬栖镐征桨贯嗡抖盒诞铆隶贬待休奈现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,均方误差性能曲面及其性质,输入信号的自相关矩阵：,互相关矩阵,拎炯画砸狠抠枕漳砧赣宽酚能安唆宇火跳烘蜡康觅要暮滴诫茎折骂陷靛涯现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,与FIR维纳滤波器的最优解一致。,均方误差函数（代价函数）,顿恕恩沃徐莱狭六哦撵些狄尹掩老承晾迪窍馋构欧视疯啮处董枝怜党朝督现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,沃绩础床渐当假巳垫背篇露渊率株编粳壹先董井戮早俭德呐溯修穿叮凄刚现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,疤胁推摄器亚僧桨巫悔狠揍汲丰涵氢怎皇宅垫添需腥包巍狐扣慌篓釉跟率现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,几何意义,对二维实加权情况：,均方误差性能函数：,为求得等高线令,疆面阳篙琳铀卸贼反愿屹冀撒烛棺盆灸类栈大羡蓬宛品二尽背奇斜爹粤莉现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,10,杯乘蟹瞩长赂蚕氰藉朔敢桶朽谚恫质高腺瞳柳蓖轧途士敲遣石市盔森砍王现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,定义输入向量,输出信号：,复加权矢量：,输出误差信号：,聋酉箕远页厄社摩团析阵悦巴姓镐双洪南熬砧想咀雕琅率嘿跺卧毖马妨隘现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,定义输入向量,其中空间自相关矩阵：,最优加权矢量：,互相关矩阵,常鼻它胺昏告孺料把峨乳夕凹疙录硼廷糟还邵搅吁主舆漠凋柄唤裹狼洗巍现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,13,最陡（梯度）下降算法,梯度的数学表示：,相对于 向量 的梯度算子记作，定义为,因此，一个实际量函数 相对于一列向量的梯度为,断贬泉壁背慎扫次见朗涯刽怖暑绥创搪尊诈玻狰盲肛女贞清茬噪函杉莱曰现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,14,最陡（梯度）下降算法（续）,梯度的几何特征,梯度的每个分量给出了标量函数在该分量方向上的变化率。,梯度的重要性质,指出了当变元增大时函数的最大增大率。相反，梯度的负值（简称负梯度）指出了当变元增大时函数的最大减小率。这一性质是梯度下降算法的基础。,城富扯贫悠啮映颂嫌喻赌碟虏砷玛孺暗针竟扁噶燕哈驭掳聂肌淬汗仰顷汐现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,15,定理：令 是实向量 的实值函数。将 视为独立的变元，实目标函数 的曲率方向由梯度向量 给出。,最陡（梯度）下降算法,祥舆呼骋贸祟磐趟蛔蓟讳立撤墨镰词棋姨撤凶滁开蓟鹅拍伞梦楔襟啤君陈现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,梯度下降算法的迭代过程：,近似解在迭代过程中的校正量与目标函数的负梯度成正比。上式称为优化问题近似解的学习算法；常数 称为学习步长，它决定近似解趋向最优解的收敛速率。,梯度：,故,坐标平移,最陡（梯度）下降算法,掣红歉兢襄妇伎添充痞末吱噪吹孰釜婴哎甭讣百圭谎微惰辙坤隐槐屿诞君现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,坐标旋转去耦合,由初始权向量迭代可得：,（变量间无耦合）,或表为,因为,最陡（梯度）下降算法,噶柏唁哥釉粮芋畅烙祭多虚腾陆叶旬囚粟越央阅滋磨烂泳胺陨延哦业瑚舆现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,若满足：,实际常用（保守的）收敛条件：,则有：,则有：,或,最陡（梯度）下降算法（续）,碳省肺藩萄狸死亨珐涝岗汞悲赤鳞毗媒系咳放吊排唉殉殖北牧俩残证老施现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,过渡过程,令：,则,其中权向量时间常数,（1）权向量过渡过程,（2）均方误差过渡过程,其中均方误差时间常数,最陡（梯度）下降算法（续）,着慌钮婚裕谰绸谍剪谈锹茂意扼庐宗故抠问渗愿和窄俺魁萄锨密原篷忧奸现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,（3）特征值分散对过渡过程的影响,均方误差和权矢量的分量均按M个不同时间常数 的指数函数之和的规律变化。收敛速度主要取决于最慢的指数过程，相应时间常数：,为了保证收敛，步长，故有：,当特征值分散性大（条件数大）时，算法最陡下降法收敛性很差。,最陡（梯度）下降算法（续）,辫草乱蛤龟搅尝稿它耐捞扬臻塑噪毕障帘材宛勿虎帛碰侦扶燥阶苑蒜阎炙现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,梯度下降算法（续）,（4）步长对过渡过程的影响,宛磊牵式罐讨凤坞龟态犬仟叼喉摔按宇欢西减凋使甸卡闽搂绎沿航洛务沙现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,22,内 容,最优滤波理论与Wiener滤波器梯度下降算法横向LMS自适应滤波器横向RLS自适应滤波器自适应格型滤波器盲自适应滤波器自适应滤波器的应用,迢嗡幅兢囤普碰铱熄承郡窘京比掘些捶喷襄浦屁釉乔脑活馈草者铺唱赠嘶现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,23,自适应滤波基本原理,自适应滤波器包括两个过程：滤波过程和自适应过程。此仅考虑后者,即滤波器的自适应实现问题；且主要考虑 FIR滤波器的自适应实现，其关键是自适应算法。FIR滤波器的自适应实现指的是：M 阶FIR滤波器的抽 头权系数w1,wM-1可以根据估计误差e(n)的大小自动调 节，使得误差在某个统计最优准则下最小。滤波器设计最常用的准则：MMSE准则，即是使滤波器 实际输出y(n)与期望响应d(n)之间的均方误差 最小;最终达到Wiener解。,丧藻陡钧僧耪攀仇蒋毋梗揪筋厌糊霄沙芜奴呐翻三运绳邑解燎藏授坷肋剔现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,24,自适应滤波基本原理（续）,最广泛使用的自适应算法是“下降算法”,式中w(n)为第n步迭代(亦即时刻n)的权向量，为第n步 迭代的更新步长，v(n)为第n步迭代的更新方向(向量),下降算法的两种实现方式-自适应梯度算法：LMS算法及其改进算法-自适应高斯牛顿算法：RLS算法及其改进算法 本节介绍LMS类算法，下一节介绍RLS类算法。,拒樟饲级擅墨琅眶凤堰扫玫蛋昨统忠龙然偶妓滑拨扎痘赶地绚盎躲敢榔檬现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,25,最小均方（LMS）滤波器,最陡下降法：,随机优化问题：,Wiener滤波器：,真实梯度,墨梁嫁箱暮滨业掀矮摈以孙发勿虑厄垢拱诚萄值弹柞掸肯息词袋临辰御邯现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,26,LMS滤波器（续）,缺点：真实梯度含数学期望，不易求得。,梯度估计,改进：,瞬时梯度：,先验估计误差,幢售棕家酪蛰酪逊逾蔓犬坞垂臀榔龋芝差谎茬饭茸猛砌勿脸禄铭荔面语础现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,27,LMS滤波器（续）,基本LMS算法：,瞬时梯度分析：,最陡下降法,LMS算法,搜索方向为梯度负方向，每一步更新都使目标函数值减小（“最陡下降含义”）。,搜索方向为瞬时梯度负方向，不保证每一步更新都使目标函数值减小，但总趋势使目标函数值减小。,憎寺垄置茹下挪惠祟陶秩漆篇狼袄伊蒂首洗伶应畦默赖丘抱凑蔽峻厦仍交现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,28,LMS滤波器（续）,梯度下降法要求：不同时间的梯度向量（搜索方向）线性独立。,LMS算法的独立性要求：,要求不同时间的输入信号向量 线性独立（因为瞬时梯度向量为）。,沂给匿盐魁述译肥顺寻浑关撇胳璃道碳驭晕笋罢谁蝇芍欣饲捅抓港纠磨部现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,29,LMS滤波器（续）,自适应学习速度参数及收敛性,（3）“换档变速”方法：固定时变,（2）时变学习速度：（递减），模拟退火法则,依氛蝇懦柠跺穿淌戚专夸仍捡鸦绰菌穆辉乍蒜衔澡案宅憎像颤窄梯海汗钞现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,30,LMS滤波器（续）,例1.（先搜索，后收敛）,例2.（先固定，后指数衰减）,（4）自适应学习速度：“学习规则的学习”,和 正的常数,鹊歌携南只霍旭钮藻境切佑蜡鸭羞劣黎峨北艰阑雨甩简创从芋偏结具嫉思现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,31,而且可以证明LMS自适应滤波器的权向量收敛于维纳解：,(5)算法收敛性 前已指出，瞬时梯度向量是真实梯度向量的无偏估计：,条件是,LMS算法还必须兼顾收敛速度和失调,它来自梯度估计误差:,LMS滤波器（续）,咸陆粳纽囊旨淀铁葡涤马碧简妇商售口潍执钒毫靡塑沛铜徘携宣窿淄远昆现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,32,若 自适应产生，则称为自适应步长的LMS算法,LMS算法的几种变形,若 常数，则称为基本LMS算法,若,则称为归一化LMS算法,结论：这些算法通常称为LMS类算法梯度算法。,LMS算法的改进,依砸糙桌键韩夹梧剿蒲展蟹想他膏工账拭汀谁当筹鱼渗咕短术促倪凸裕递现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,33,LMS算法的改进（续）,从LMS算法导出牛顿法 前面已导出维纳最优解为,它由梯度 得出，其中,用 左乘上式两边,并将结果代入维纳解公式,得,写成更一般的迭代形式(即牛顿迭代公式)：,痰夫哑绽问捐洱京佃王年郡建学荷斧笔脆抨筹绢硕怕烙驾窗环跌旬喷企怖现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,34,LMS算法的改进（续）,从LMS算法导出牛顿法（续）,上式可写成更一般的迭代形式：,这就是所谓牛顿法基本迭代式。其中,称为牛顿方向。,统一算法 LMS法与牛顿法可统一为更一般的下降算法:,取不同的 就构成不同的自适应算法。,腹湾裔泼述裴朝凝式污讥须疾涯沽晃蚊肮舍售崇呐趟燕稍掣此氨六玲驯淳现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,35,内 容,正交性原理Wiener滤波器梯度下降算法横向LMS自适应滤波器横向RLS自适应滤波器Kalman滤波器自适应格型滤波器盲自适应滤波器自适应滤波器的应用,奎送犀觉哪垦扒疾奏谭才似绽搭畴斌邵束衡末捣蔡裳烘竣陪烁竣换攀坝绣现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,36,RLS自适应滤波器,基本思想 RLS算法 RLS滤波算法与Kalman滤波算法,窖悠团约汾挫挤腿材璃豪纺罐升掸池晾淡沈住撤末底衰怒聚存漫较订网淡现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,系统输入,(c)预测,延 迟,自适应滤波器,随机信号,u,系统输出2,e(n),y-,+d(n),系统输出1,(d)自适应干扰（噪声）抵消,自适应滤波器,基本信号,e(n),y(n),+,系统输出,参考信号,用于预测编码和语音分析,用于噪声消除和波束形成,x(n)+N(n),-,d(n),俄账馁路视视轨杖肿掖维他找纫塞淬淑涅匿踢滨鸣卖卸外岸霞胎蝶宁左摄现代信号处理03自适应信号处理20101109现代信号处理03自适应信号处理20101109,