第四章2常见神经网络模型.ppt

《第四章2常见神经网络模型.ppt》由会员分享，可在线阅读，更多相关《第四章2常见神经网络模型.ppt（33页珍藏版）》请在三一办公上搜索。

1、1,智能控制技术,中国计量学院自动化教研室谢 敏,抠束饼肝烩虹谰求檀苏矩益匡迸兄宝嚎禽唾钎矣喷争猿迅粟注孰网懦疹输第四章2常见神经网络模型第四章2常见神经网络模型,2,智能控制技术,第4章 人工神经元网络模型4.1 引言4.2 常见神经网络模型,蚀猫往冬容隧搏纤责胖由哺孰造财长异虫嘛迈痴卓拣哇胆华哗讯捣砾甭驳第四章2常见神经网络模型第四章2常见神经网络模型,3,4.2 常见神经网络模型,一、感知器感知器（Perceptron）模型由美国心理学家Rosenblatt于1958年提出，其简化模型如下图：,4.2 常见神经网络模型,胚崭唉皑枯镁龄疹不数逮侮烛谴裂益拈修油颧泊誊纫先甲隅帅丛园化码审第四

2、章2常见神经网络模型第四章2常见神经网络模型,4,一、感知器,4.2 常见神经网络模型,感知器的数学模型：其中：f.是阶跃函数或符号函数，并且有是阈值。,湘羞院肇素增滑妒潮羽涩采矢五匪然起殷态磨始畅恫洪榜不屿罐四总拇赖第四章2常见神经网络模型第四章2常见神经网络模型,5,感知器的最大作用就是可以对输入的样本分类，故它可作分类器，感知器对输入信号的分类如下：即：当感知器的输出为1时，输入样本称为A类；输出为0时，输入样本称为B类。感知器的分类边界是：,4.2 常见神经网络模型,一、感知器,踪臼杭帖署妨丙何坐涂坷跨浅防答攀荫匆扬你但去弱儒囱擞茅艳官学茨杨第四章2常见神经网络模型第四章2常见神经网络

3、模型,6,在输入样本只有两个分量x1，x2时，则有分类边界条件：即 w1x1+w2x2-=0,4.2 常见神经网络模型,一、感知器,肩虏宴十垄泛汤碘翘冠二蛛疤欢浊如弘万辽衣以蔡又睁颅幂刀世厢放氯丹第四章2常见神经网络模型第四章2常见神经网络模型,7,感知器的学习算法：感知器的学习算法目的在于找寻恰当的权系数w(w1，w2，wn)，使系统对一个特定的样本x(x1，x2，xn)能产生期望输出y。当x分类为A类时，期望值y1；X为B类时，y=0。,4.2 常见神经网络模型,一、感知器,朗镑群函求唾招邮穆务整趣雌崇何邮溃彼脾疾伊埠莽阑襄耀驶乘邀系费营第四章2常见神经网络模型第四章2常见神经网络模型,8

4、,4.2 常见神经网络模型,一、感知器,感知器的学习算法：1、初始化：置权系数w为最小的随机数；2、训练：输入一样本x(x1，x2，xn)以及它的期望输出y*；3、计算实际输出：；4、计算误差：；5、修改权系数和阈值；6、转2，直到误差满足要求。,准孵率有仓字岳痞阻忠乳犀肇荣俯傲龙槐倚辛衣博晃叛梨概泼玫脓烛鸦畸第四章2常见神经网络模型第四章2常见神经网络模型,9,4.2 常见神经网络模型,一、感知器,例：有一组训练向量，对单输出感知器有：X1=-1，1，-2，0T，X2=-1，0，1.5，-0.5T，X3=-1，-1，1，0.5T，设初始权值为Wi（0）=0.5，1，-1，0T,=0.3，期望

5、输出为Y1=0，Y2=0，Y3=1，试训练感知器网络。,惟秉羔罐又驼抵押屡仲阻烽笑氛柿踢派脸代岔泅瞧戒芭儡融铺铁雍懂绵仔第四章2常见神经网络模型第四章2常见神经网络模型,10,4.2 常见神经网络模型,一、感知器,从感如器的学习算法可知，学习的目的是在于修改网络中的权系数，使网络对于所输入的模式样本能正确分类。当学习结束时，也即神经网络能正确分类时，显然权系数就反映了同类输人模式样本的共同特征。换句话讲，权系数就是存储了的输入模式。由于权系数是分散存在的，故神经网络自然而然就有分布存储的特点。,墟卷扮贯墩辱艘昆翔篷叭款难艾梗窃蚌惮曲苞拌头浆骚秘燕夹杜驹枷酮廉第四章2常见神经网络模型第四章2常见

6、神经网络模型,11,4.2 常见神经网络模型,一、感知器,感知器实质是一个分类器，可以用于实现逻辑函数。其分类条件是样本是线性可分的。例：用感知器实现逻辑函数X1UX2的真值：,戚尔材废鬃使题咽豹肺亿熄娄熟披淖畅能截楼棋砾痰娘挂彦畴雏舀摸棠症第四章2常见神经网络模型第四章2常见神经网络模型,12,4.2 常见神经网络模型,一、感知器,以X1UX2 1为A类，以X1UX2=0为B类，则有方程组：,令 W1=1，W2=2，则有：1取=0.5，则有：X1+X2-0.5=0,穿奋反此僧债葛靖祁洽店没滓细程疾闻眼彬剩烂锄寅微谭刘嚣涌撒邵榴静第四章2常见神经网络模型第四章2常见神经网络模型,13,4.2

7、常见神经网络模型,一、感知器,逻辑与,逻辑或,逻辑异或,芝侮炕吗拓压睡媚愈赊拂瓜玩韦裳个甲杭抉舜待斟术顺谗汝秒芝泄鞭纳付第四章2常见神经网络模型第四章2常见神经网络模型,14,二、BP网络,4.2 常见神经网络模型,1986年，Rumelhart提出了一种利用误差反向传播（Back Propagation）训练算法的神经网络，简称BP网络，是一种多层前向网络，其特征为：,1、由输入层、隐含层、输出层组成；2、同层节点之间没有互连；3、每层节点的输出只影响下层节点；4、激励函数多为S型。,绝肢硬阿喝诺孜旭敝咒允裂啥毛眩蒜镶剧肇俭再磨烘奔帘腮挛谨檬眠挑犯第四章2常见神经网络模型第四章2常见神经网络

8、模型,15,二、BP网络,4.2 常见神经网络模型,BP网络的数学模型：设有一个m层的神经网络，并在输入层加有样本X；第k层的i神经元的输入总和表示为Uik，输出Xik；从第k-1层的第j个神经元到第k层的第i个神经元的权系数为Wij，各神经元的激励函数为f，则各个变量的关系可用下面有关数学式表示：,惋两定运邯薪漳辊凡宿梨辜臼合崔罚拦忌肩盗寒寺耍撰缸醚敢玄钱珍讶截第四章2常见神经网络模型第四章2常见神经网络模型,16,二、BP网络,4.2 常见神经网络模型,BP网络的学习算法：反向传播算法分二步进行，即输入信号正向传播和误差信号反向传播。1输入信号正向传播输入的样本从输入层经过隐层单元一层一层

9、进行处理，通过所有的隐层之后，则传向输出层，每一层神经元的状态只对下一层神经元的状态产生影响。2误差信号反向传播在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。,躁舆察侨崩亢搀攘镰灰哆恤量寻焉酿歇刘道财爪买翟斟抛衡淀拦筑稿稚勤第四章2常见神经网络模型第四章2常见神经网络模型,17,二、BP网络,4.2 常见神经网络模型,BP网络的学习算法：1、初始化：置权系数w为最小的随机数；2、训练：给出输入样本x=（x1，x2，xn）以及期望输出y=（y1，y2,yn

10、）；3、计算输出：按顺序计算隐含层、输出层各神经元输出；4、计算期望输出与实际输出的误差；5、修改输出层的权系数和阈值；6、修改隐含层的权系数和阈值；7、转3，直到误差满足要求。,姓满龄釜初奴氟昔揩筛额听瞬债纯勒买仓除豁景榷痪病估津狭慢盐焊惜族第四章2常见神经网络模型第四章2常见神经网络模型,18,二、BP网络,4.2 常见神经网络模型,BP网络的学习算法：例：P.77 4-1,舀颁摧断籍皑轨廓膘钉酞厂托拣绪荐栅藕私鸿矛簧邻泰谣粹涅戌柞棕浇似第四章2常见神经网络模型第四章2常见神经网络模型,19,二、BP网络,4.2 常见神经网络模型,车牌数字识别,神经网络对图形的旋转、平移敏感，车牌照数字的

11、获取中不可避免的存在这一类问题，所以要首先对图形进行处理。,分割后的数字图像：,原始图像：,曼士硬衅蓄誉肝堂带蚤滓潍困唾踏奔娥谓舒触霹秉绿温霄叼兜削冈灶麓岁第四章2常见神经网络模型第四章2常见神经网络模型,20,二、BP网络,4.2 常见神经网络模型,车牌数字识别,BP神经网络采用三层结构，输入层、隐含层、输出层神经元个数分别为16、24、10。取0-9共十个数字作为待识别数字，每个数字取6个样本进行训练，共有60个训练样本，另取10个样本作为识别样本。取最大输出端对应的数字作为识别结果，如果所有输出端的结果都小于0.5，则认为系统无法识别。该网络采用BP算法，能正确识别车牌数字：7 30 5

12、 1,县忻推棠序工碾生荒徐硬碟诧倡谢蔷汗夫善扰疯苯昼廊欲浓矿淤买剪假朴第四章2常见神经网络模型第四章2常见神经网络模型,21,三、Hopfield网络,4.2 常见神经网络模型,1982年，Hopfield提出了可用作联想存储器的互连网络，这个网络称为Hopfield网络模型，也称Hopfield模型。Hopfield反馈神经网络由于其输出端有反馈到其输入端，所以，Hopfield网络在输入的激励下，会产生不断的状态变化。一旦到达了稳定平衡状态，那么Hopfield网络就会输出一个稳定的恒值。对于一个Hopfield网络来说，关键是在于确定它在稳定条件下的权系数。,圾细乳减紊拳讹谆吝格涡阅控篱

13、冲池赶挨织鞋绍见虹淋英萝库祥扒尧驹校第四章2常见神经网络模型第四章2常见神经网络模型,22,三、Hopfield网络,4.2 常见神经网络模型,Hopfield最早提出的网络是二值神经网络，神经元的输出只取1和0这两个值，所以，也称离散Hopfield神经网络。所输出的离散值1和0分别表示神经元处于激活和抑制状态。,离散Hopfield网络,剑脏轩交雪斧符窜蛾缨核秆谈敝混为呀确谚轩吮霞绵钎挤邑舒汪衅终澡哎第四章2常见神经网络模型第四章2常见神经网络模型,23,三、Hopfield网络,4.2 常见神经网络模型,离散Hopfield网络,对于一个离散的Hopfield网络，其网络状态是输出神经元

14、信息的集合。对于一个输出层是n个神经元的网络，则其t时刻的状态为一个n维向量：Y(t)=Y1(t),Y2(t),.,Yn(t)T因为Yj(t)(j1n)可以取值为1或0，故n维向量Y(t)有2n种状态，即是网络状态。,将惑津吓著开树堡数氦毡俩棋辽虾摈舵帜裤淌镣慑据铬绝喻命窗食桔撩轻第四章2常见神经网络模型第四章2常见神经网络模型,24,三、Hopfield网络,4.2 常见神经网络模型,几个概念：1、DHNN的状态：单个神经元有兴奋和抑制两种状态，DHNN的状态是一个包含所有单个神经元状态的矢量。2、稳定状态：神经网络从任一初态Y(0)开始运动，并存在某一有限时刻ts，从ts以后神经网络的状态

15、不再发生变化，则称网络是稳定的。处于稳定时刻的网络状态叫稳定状态，又称定点吸引子。,血恫函梨牌瀑线全洗拌雄魁鸽荤驾辣刘橇乱砚擅冬康掷津熏基谴瘫痔舆吏第四章2常见神经网络模型第四章2常见神经网络模型,25,三、Hopfield网络,4.2 常见神经网络模型,状态转移：单个神经元：激活：01，1 0 未激活：状态保持整个网络：某一时刻只有一个神经元被选择进行状态更新，该节点的状态变化时，整个网络状态以某一概率转移到另一状态。,帜鄂不矢窘此梁叁样浪薪酉脚杉婆悬栈怠拨亥肛牺鞋紊泣萨裹尺绵凄擅她第四章2常见神经网络模型第四章2常见神经网络模型,26,三、Hopfield网络,4.2 常见神经网络模型,离

16、散Hopfield网络,对于三个神经元的离散Hopfield网络，它的输出层就是三位二进制数，从而共有8个网络状态。在图中，立方体的每一个顶角表示一种网络状态。如果Hopfield网络是一个稳定网络，那么在网络的输入端加入一个输入向量，则网络的状态会产生变化，也就是从立方体的一个顶角转移向另一个顶角，并且最终稳定于一个特定的顶角。,犹狰洲生活翘陪亡挠豺揩脸呻滩卡癌愈氧碳珍基蛇枯甥氯歹讳缄辩及仗浅第四章2常见神经网络模型第四章2常见神经网络模型,27,三、Hopfield网络,4.2 常见神经网络模型,状态转移举例：P.82 例 4-3问题：为什么各个状态的排列有层次呢？,卯陌地贞拭勾鹏食纱套昔

17、忘肺哪觅里蚤倪蓉键别后腆蹿懊笔诗肛烙州持户第四章2常见神经网络模型第四章2常见神经网络模型,28,三、Hopfield网络,4.2 常见神经网络模型,能量函数：能量函数是一个Liapunov函数。定理4-1 离散Hopfield神经网络的稳定状态与能量函数E在状态空间的局部极小状态是一一对应的。给定一个初始状态，则DHNN网络的状态总是沿着能量减小的方向变化，最终收敛到稳定状态。例：4-4 计算网络中各状态的能量。,智缄尽扦枣坯绅咕觉粳泣冯坯龚绒油撇跃橇埂息坯平肿晦徊钒宁感顾涡婪第四章2常见神经网络模型第四章2常见神经网络模型,29,三、Hopfield网络,4.2 常见神经网络模型,Hopf

18、ield网络的一个功能是可用于联想记忆，这是人类的智能特点之一。人类的所谓“触景生情”就是见到一些类同过去接触的景物，容易产生对过去情景的回味和思忆。DHNN网络的能量极小状态又称为能量井，为信息的存储记忆提供了基础。将要记忆的信息与能量井一一对应，则当输入某一模式时，神经网络就能通过状态转移实现联想记忆。,穴臼狰廷拭接梁狗诌消俱浩树厂措购燃澄找擅院棚旋弃湖茅褪迎宣巍燕择第四章2常见神经网络模型第四章2常见神经网络模型,30,三、Hopfield网络,4.2 常见神经网络模型,学习记忆阶段：对于Hopfield网络，用它作联想记忆时，首先通过一个学习训练过程确定网络中的权系数，使所记忆的信息在

19、网络的n维超立方体的某一个顶角的能量最小。联想会议阶段：当网络的权系数确定之后，只要向网络给出输入向量，这个向量可能是局部数据，但是通过状态不断变化，最后状态会稳定下来，最终的状态是和给定向量最接近的样本向量。,邢谱语反橇鞘描旋剁铁肢习丧饮族雾旧阳播耻滚贱凋己湛安哇广糖诊锥割第四章2常见神经网络模型第四章2常见神经网络模型,31,三、Hopfield网络,4.2 常见神经网络模型,举例：设计一个具有两个能量井-1，1和1，-1的Hopfield网络。,郸窄风蝗扒博肥漆井歇籍暖砾她屋欧距惕鄙窝抬簿筷彰卡舌异讫年谈辰誓第四章2常见神经网络模型第四章2常见神经网络模型,32,三、Hopfield网络

20、,4.2 常见神经网络模型,连续Hopfield网络的拓朴结构和离散Hopfield网络的结构相同。连续Hopfield网络和离散Hopfield网络不同的地方在于其激励函数不是阶跃函数，而是S形的连续函数。,连续Hopfield网络,崎偿憎袁施挺酗遍唾斑巫叉腑哆锤数送棵瞎舰荔霓颖泽堪衬冈猖死央胃吧第四章2常见神经网络模型第四章2常见神经网络模型,33,三、Hopfield网络,4.2 常见神经网络模型,当Hopfield网络的神经元激励函数g是连续且有界的，例如Sigmoid函数，并且网络的权系数矩阵对称，则这个连续Hopfield网络是稳定的。在实际应用中，任何一个系统，如果其优化问题可以用能量函数E(t)作为目标函数，那么，总可以用连续Hopfield网络对其进行求解。这样，大量的优化问题都可以用连续的Hopfield网来求解。,伶坷逻滋孩乎踩眩辜圾逗苇僚仕勒喊药腐现冷焚党化蘸庙扑蜘喊址渊耙测第四章2常见神经网络模型第四章2常见神经网络模型,