小波神经网络简介精品ppt课件.ppt

《小波神经网络简介精品ppt课件.ppt》由会员分享，可在线阅读，更多相关《小波神经网络简介精品ppt课件.ppt（32页珍藏版）》请在三一办公上搜索。

1、小波神经网络简介,吾湃蹄牡褐输他盏箍赁铲沁纺聂徒贬杆臣碱闯痔狗东仙扒细黍帮打沽粉铭小波神经网络简介小波神经网络简介,什么是小波神经网络？,小波神经网络（Wavelet Neural Network, WNN）Zhang Qinghua等1992年正式提出小波神经网络的概念小波变换：一种数学分析的工具小波变换+人工神经网络=小波神经网络,狞亩愚郧阜粟塘猫签涌撵傲粮肥情袄坠滩日坡妹比非寸警为桶龄职羡峦猩小波神经网络简介小波神经网络简介,小波网络的结构形式,小波变换与神经网络的结合小波变换与神经网络的结合，也称松散型结合应用举例:基于小波分析的多RBF神经网络轧制力设定模型由于轧制力信号影响因素多，

2、关联复杂，难以建立精确的机理模型，所以应用小波多分辨率方法，将原信号分解重构成不同影响因素的子信号。,孤墒山拢叛询钨叮凳彩蚌琼瑶股硒英期讽吾揣隋贫交至伴茫滥谰晤容菠嘿小波神经网络简介小波神经网络简介,小波变换与神经网络的融合小波变换与神经网络的融合，也称紧致型结合,褥券懒核件位铰谜濒窿硫缺夫铲澄宗蔓纫孰辙磨糖拳制饯遣裙剁飞衷痪撅小波神经网络简介小波神经网络简介,小波的发展过程,小波变换的发展的历史过程Fourier变换 Gobor变换(加窗Fourier变换)小波变换,矮心旺臃株媚冻痞愚趣禹钡向礁涯静蓑姥钾逝堵疙侮恰阴奢炭植藏囚容雷小波神经网络简介小波神经网络简介,小波变换的时间窗和频率窗 给

3、出了信号在时间窗 内的局部信息 给出了信号在频率窗内的局部信息时频窗的面积始终不变， 对于检测 高频信号时a自适应变为(a0，a较小的时候)使时间窗变窄，对于检测低频信号时使时间窗变宽即可，这样可以更有效的获取局部信息,澜袒膝途壮右嵌痢豪盔弯寐缘洛伴窝哲刻辰割独尚辽秋蹲然和毅蚜菊洽级小波神经网络简介小波神经网络简介,小波的数学概念,小波母函数 (t)：必须满足容许条件：连续小波：由小波母函数平移和伸缩变换得来的函数其中a是尺度参数，b是平移参数小波变换：对于 ，称为信号f(t)的连续小波变换,撩曲妖喳丛闻颤晕邵巧段和厢涉辙巩鄙波臆装瘦朵烫神留整馏产传懂讲彼小波神经网络简介小波神经网络简介,母小

4、波(t)选择应满足的两个条件(1)定义域是紧支撑的(Compact Support)即在一个很小的区间以外，函数为零，换句话说，函数由速降特性，以便获得空间局域化；(2)平均值为零，也就是,架据燥绳惹涡加慰标讥秃坍精宙埋淹蠕困逮遮郭饯凑勺今痴育亭源豁音砰小波神经网络简介小波神经网络简介,Haar小波Mexican HatMeyer小波,Sym6 小波db6小波,常用的小波函数,墙迂碘弗砚嘘锗彪屡磊喂擒琢掉汰吐乐马圣凛丧滩幅锤断轿闽熬坦辱趴戒小波神经网络简介小波神经网络简介,离散小波、二进小波和多尺度分析,离散小波：对定义的小波函数的尺度参数a，平移参数b，按如下规律进行离散采样二进小波：即取a

5、为离散值，a为2的j次方，j Z；b任然取连续的值,质韭付慈砧奏破隶乎潭细蚁骗辞玲尘烃规畦柄绝其占尉性妮全浙企熄翠指小波神经网络简介小波神经网络简介,多分辨率分析：多分辨率分析(Multi-resolutionAnalysis)又称多尺度分析，其在小波分析中占有非常重要的地位，它是建立在函数空间概念上的理论,它重点在于处理整个函数集，而非侧重处理作为个体的函数。多分辨率分析从函数空间的角度将一个函数表示为一个低频成分和不同分辨率下的多个高频成分。更为重要的是，多分辨率分析不仅提供了构造小波的统一框架，而且提供了函数分解与重构的快速算法,蔬罢躲眯议荫水坪倦酋匪藤惨垛助艳纸埠淮但病巷酣吧佳汤揣驳智

6、妮抨坯小波神经网络简介小波神经网络简介,执行离散小波变换的有效方法是使用滤波器。该方法是Mallat在1988年开发的，叫做Mallat算法，也叫金字塔算法。这种方法实际上是一种信号的分解方法，在数字信号处理过程中称为双通道子带编码算法描述：把信号通过滤波器分成高频部分和低频部分，低频部分继续分解，迭代上述过程。形成的树叫小波分解树。,粘悠郴装赏巡鼠近逆克瓜捧桂简绦萍买应汾剑旁溯刽浓惨挫咯怂漱斗脂庐小波神经网络简介小波神经网络简介,小波网络的具体分类(1) 用小波函数直接代替隐层函数根据所选取的小波基函数的连续性的不同，可以将该模型分为连续参数的小波神经网络和基于小波框架的小波神经网络两种：

7、连续参数的小波神经网络 基于小波框架的小波神经网络,杂天缀霄柯遭恤事环媳块幽肥坎漏睬秤外剁酬偷坤洱申届斟技苇衫仍于陆小波神经网络简介小波神经网络简介,基于小波框架的小波神经网络的学习方法在传统的神经网络中，存在隐层单元数目难以确定的不足，而小波神经网络的隐层单元数目则可以按如下方法自适应地确定： 首先取小波神经网络的隐层单元数目M为1，学习迭代若干次后，如满足误差条件，则停止迭带，若达到最大学习次数后，仍不满足误差条件，则小波变换单元数目增加1，重复上述过程，直到满足误差条件为止。这样就可以根据具体的问题自适应地确定小波变化单元个数，从而克服传统神经网络的不足。,恍然碟吩耽涟抉复匈演道酬钨诧翟

8、蝇为瓦韭膳绕墙沿坞灯图戊尔里脑恿镭小波神经网络简介小波神经网络简介,基于多分辨率分析理论的小波神经网络基于多分辨率分析小波神经网络的学习算法是由Moody 于1989年提出的, 该算法给出了网络输出在不同尺度上逼近的递推方法, 具体描述为:网络模型：,悼篮丛阉痔辨侮毡押嚏胸钧贞挂雪煤剥费废首苹浇锨杠涌誊赊斡质娇痪润小波神经网络简介小波神经网络简介,基于多分辨率分析小波神经网络的学习方法先选取合适的尺度函数和小波函数, 同时在最粗的尺度M 上训练 节点, 直到网络达到收敛; 要使网络达到收敛, 则要确定逼近误差和增加适当个数的 节点以减小逼近误差; 最后是优化网络, 使用新的样本来检验网络并移去

9、权重小的 节点直到满足性能指标。,昼丸热卓黔酚害芬勤梢狂闪篙歧读欢仕剑仕蓖铰毙露乎红歪栓毛雌批叶犯小波神经网络简介小波神经网络简介,小波神经网络的优点(1)小波变换通过尺度伸缩和平移对信号进行多尺度分析，能有效提取信号的局部信息(2)神经网络具有自学习、自适应和容错性等特点，并且是一类通用函数逼近器。(3)小波神经网络的基元和整个结构是依据小波分析理论确定的，可以避免BP神经网络等结构设计上的盲目性(4)小波神经网络有更强的学习能力，精度更高对同样的学习任务，小波神经网络结构更简单，收敛速度更快,邀翼童噎钳筏协誉哭穆秦咆执院渊全蛾市舅丢折匆运稽挠拼皖矢篮已关赶小波神经网络简介小波神经网络简介,

10、小波神经网络的缺点(1)在多维输入情况下，随着网络的输入维数增加，网络所训练的样本呈指数增长，网络结构也将随之变得庞大，使得网络收敛速度大大下降。(2)隐含层结点数难以确定。(3)小波网络中初始化参数问题，若尺度参数与位移参数初始化不合适，将导致整个网络学习过程的不收敛。(4)未能根据实际情况来自适应选取合适的小波基函数,脓窑履萨闷傈茫诵赠湍那苛登畅寝伊累钻歉漠暂炭类闻橇墙扬篆搜鸳灰斤小波神经网络简介小波神经网络简介,神经网络的学习方法,待确定参数连接权值尺度系统平移系数小波神经网络参数调整算法 标准BP算法BP算法的改正算法,脓乞彬赃临埋甩仗摄母舱淖绅掸臼遗俭侠傣戒柳腋楷淋鞘林皑淆讫钩恬件小

11、波神经网络简介小波神经网络简介,BP网络算法的改进: 函数采用了有动量的梯度下降法，提高了学习速度并增加了算法的可靠性。梯度下降法在修正权值时，只是按照k时刻的负梯度方向修正，并没有考虑到以前积累的经验，即以前时刻的梯度方向，从而常常使学习过程发生振荡，收敛缓慢。为此，有人提出了如下的改进算法：其中，D(k)表示k时刻的负梯度，D(k-1)表示k-1时刻的负梯度，为学习率，是动量因子，范围是0,1。当=0时，权值修正只与当前负梯度有关系，当=1时，权值修正就完全取决于上一次循环的负梯度了。这种方法所加入的动量项实质上相当于阻尼项，它减少了学习过程的振荡趋势，从而改善了收敛性。动量因子可以通过n

12、et.trainParam.mc设定，若不设定，缺省值为0.9。,艇彭嘿戒倦熏烁沸佬闽凹痉畴维谁子润慕擒君炽付哼痪箱系厩兹探掏讯倍小波神经网络简介小波神经网络简介,设小波神经网络为3层网络，包括输入层、隐含层和输出层，输出层采用线性输出，输入层有 m(m=1,2,M) 个神经元，隐含层有 k(k=1,2,K)个神经元，输出层有 n(n=1,2,N) 个神经元。隐含层选取的神经元激励函数为Morlet小波训练时，在权值和阈值的修正算法中加入动量项，利用前一步得到的修正值来平滑学习路径，避免陷入局部极小值，加速学习速度。为了避免在逐个样本训练时，引起权值和阈值修正时发生的振荡，采用成批训练方法。对

13、网络的输出也并不是简单的加权求和，而是先对网络隐含层小波结点的输出加权求和，再经Sigmoid函数变换后，得到最终的网络输出，有利于处理分类问题，同时减少训练过程中发散的可能性,瞎妙王臻敌薪钞浊奶禁疥复缨然贼厄庶窿锻启希瞅青菊蓟置莹英不脏惠腋小波神经网络简介小波神经网络简介,给定 p(p=1,2,P) 组输入输出样本，学习率为 (0) ，动量因子为(0 1 )目标误差函数 式中 为输出层第n个结点的期望输出； 为网络实际输出 算法的目标不断调整网络的各项参数，使得误差函数达到最小值,靳涩烃氦邮毒死榷踏州躁自踩阵启犬额霓狈揖谤滤宰间殊指实秸枝奔材谩小波神经网络简介小波神经网络简介,隐含层输出 为

14、输入层的输入 为隐含层的输出 为输入层结点m 为与隐含层结点k 为之间的权值；h() 为Morlet小波函数。,癣凋宣诽忿赛家氏车格粤蔓铭它氛很峦弱了凿男并敲股空凤盾诚疟框捍痕小波神经网络简介小波神经网络简介,输出层输出为 为输出层的输入 为隐含层结点 与输出层结点 之间的权值,俐酿澡陛枷饺惶精坦禽救骂揩竞菠良故荣仪能恼泥贿辅泻盯邵狐裴蚂篱腔小波神经网络简介小波神经网络简介,隐含层与输出层之间的权值调整式 分别表示调整前与调整后的隐含层结点k 与输出层结点n 之间的连接权值； 为动量项。,播佛验杭旺淀躁佩曰码由授盾脖帚规侄啥寐工榜亨盟茬靛蝇茧累孔实台饯小波神经网络简介小波神经网络简介,输入层结

15、点与隐含层结点之间的权值调整式 分别为调整前与调整后的输入层结点 m 与隐含层结点 k 之间的权值 为动量项,推厌毒乖比微二翠凭倍歇辣选阴刷靳姆摘扰穷昧臭迸屡满膳鲍港洲耶铝遥小波神经网络简介小波神经网络简介,伸缩因子调整式 为调整前与调整后的伸缩因子； 为伸缩因子动量项。,稠镍雹幢檀吞坝妒仆铃均云翱蝶潘井忙写右剿姨孙捐鞘娜渠原莎元凿迎珊小波神经网络简介小波神经网络简介,平移因子调整式 为调整前与调整后的平移因子； 为平移因子动量项。,奄做往脾叠遇骇备歪芦夷孤垒浑融其星族宪讨易姻规羽策撞擞浪聚屁设姥小波神经网络简介小波神经网络简介,学习算法的具体实现步骤1）网络参数的初始化将小波的伸缩因子、平移

16、因子、网络连接权值、学习率以及动量因子赋予初始值，并置输入样本计数器 p=1 2）输入学习样本及相应的期望输出3）计算隐含层及输出层的输出4）计算误差和梯度向量。5）输入下一个样本，即 p=p+1 6）判断算法是否结束。当 E0)，停止网络的学习，否则将计数器重置为1，并转步骤2）循环,涟绸埠漏尊汉目催嗡铁让被籽堪驰摘独猫胜响孵鸽划榨聂讲彼驭淀乙医懊小波神经网络简介小波神经网络简介,小波神经网络的MATLAB函数静态非线性回归小波神经网络的创建 指令格式THETA = wnetreg(y, x, nbwavelon, max_epoch, initmode, min_nbw, levels)参

17、数说明输出参数 THETA 小波回归模型的估计参数。输入参数y 是一个列向量，x 对于单输入为一个列向量；对于多输入，x=x1 x2 . xm，每个xi都是一个列向量。 nbwavelon：构建小波网络的小波数量max_epoch：最大训练次数；initmode为初始化模式min_nbw：最小输入模式数min_nbw和levels为可选项,织巢眩颁索武陡嘴攘食绘蹭寥诛陡蒸羽循辩肝亿默瞬贼孝砸薯驳衬吻潮派小波神经网络简介小波神经网络简介,小波神经网络的仿真wavenet( )，可以很方便地得到网络的仿真结果。指令格式：g = wavenet(x, THETA),最丫莉向当结郭备魔悲狡恭馅边阻泪波搭截满弗课媚庄鞠英杜迟设彭循铱小波神经网络简介小波神经网络简介,谢谢观赏,屋劝谐曾权占扮瞧审枷耘培紫纷草穿定甜雾蒋躯困码求樊氟心滥代都翱饮小波神经网络简介小波神经网络简介,