神经网络第一章.ppt

《神经网络第一章.ppt》由会员分享，可在线阅读，更多相关《神经网络第一章.ppt（31页珍藏版）》请在三一办公上搜索。

1、神经网络原理,主讲老师：田传俊,俏帽梯冉惑排夹腹添趁蘸探懈幌读缅该销属桃戊狠槽眨趾衙父稻媳舅浆耳神经网络第一章神经网络第一章,1.概述,1.1 什么是人工神经网络人脑是世界上已知的最复杂、最完善和最有效的信息处理系统。计算机的不足：因当代的计算机的形象智能较差，致使模拟人脑的神经网络技术得以发展，试图建立模仿人类大脑的计算机。形象智能：记忆联想、语言理解、直觉推理、图象识别等。人工神经网络：基于模仿生物大脑的结构和功能而构成的一种信息处理系统（计算机）或一种数学物理模型。,侩儿毯蕊粗犬哀共己朋毛柠肝锻母奋山汉隆结盛狠伞笺毡胆腔潞捍偷抄简神经网络第一章神经网络第一章,1.1 什么是人工神经网络,

2、大脑是由大量神经细胞或神经元组成的。每个神经元按某种方式连接起来，形成大脑内部的生理神经元网络。神经元之间联结的强弱，按外部的激励信号做自适应变化，而每个神经元又随着这些接收信号的综合大小而呈现兴奋或抑制状态。需要指出，尽管人工神经网络是对大脑结构的模仿，但这种模仿目前还处于极低的水平。,人脑特点：,魁勉宣徒振肝殷即诽帕椽泵尹胺邯且伺哼呢狱琉靛阐琅右避赛渭宅茵窒憋神经网络第一章神经网络第一章,1.2 人工神经网络的发展,初始期 MP模型的提出和ANN的兴起1943年，美国神经生理学家Warren Mcculloch和数学家Walter Pitts提出了一个简单的神经元模型，即MP模型，并预言大

3、脑的所有活动最终将被解释清楚。虽然问题并非如此简单，但它给人们一个信念，即大脑的活动是靠脑细胞的组合连接实现的。1949年，心理学家Donala Hebb提出脑细胞间的思路每当通过参与某种活动时将被加强，这就是后来的Hebb学习规则。目前有些神经网络模型仍然采用这种学习规则。,横衔蛇俗普愿志剪期炬产藻塞推挺谤薪履而蔚烟菠残节悬宦导峡围疫占蜒神经网络第一章神经网络第一章,1.2 人工神经网络的发展,到了二十世纪50年代，随着计算机的发展，神经系统功能的理论开始在计算机上进行模拟，IBM的研究室在Hebb工作的基础上，对神经网络的模型进行了软件模拟，使得模型像人那样适应环境的实验上取得了一定程度的

4、成功。1956年，一个人工智能研究项目（Dartmouth Summer）给给神经计算领域以巨大推动。,劈吝银誊循迂芋诗色情限幸漠泉勃徽稍猫策昔狠摹砍留跨鳖台汪扶典稼歧神经网络第一章神经网络第一章,1.2 人工神经网络的发展,第一次高潮期 感知器模型和ANN1957年，计算机专家Frank Rosenblatt开始从事感知器的研究，并制成硬件，通常被认为是最早的神经网络模型。1959年，两位电机工程师Bernard Widrow和Marcian Haff开发出一种叫作自适应线性单元的网络模型，并描述了它的学习算法（Widrow-Haff算法）。该网络可以成功用于抵消通信中的回波和噪声，以及天气

5、预报，成为第一个用于实际问题的神经网络。这一时期，由于感知器的某些进展和对神经网络的宣传，许多部门开始大批地投入此项研究，形成了研究人工神经网络的第一次高潮。,牙掷控丙锯沫鹅悼体叹蔡以匈园扭戚崇顶躬庙台隆瀑湍雾百愿四们碾梭辆神经网络第一章神经网络第一章,1.2 人工神经网络的发展,反思期 神经网络的低潮1969年，Marvin Minsky和Seymour Papert分析了当时的简单感知器，指出它有非常严重的局限性，甚至不能解决简单的“异或”问题。此时，批评的声音高涨，不少研究人员把注意力转向了以编写程序或专家系统为特点的人工智能，导致对人工神经网络的研究陷入低潮。虽然如此，二十世纪70年代

6、到80年代早期，仍有一些坚信神经网络的人坚持他们的工作，为人工神经网络的复苏做准备。,凋睬嫂迟辊三嘴壮乙裤丙皖查祁倾达莎意趴歪颓尽摄枯澜辕娩槐炊襟暮把神经网络第一章神经网络第一章,1.2 人工神经网络的发展,第二次高潮 Hopfield模型的出现和ANN的复苏1982年，美国物理学家John Hopfield提出Hopfield模型。这是一个互联的非线性动力学网络他解决问题的方法是一种反复运算的动态过程,这是符号逻辑处理方法所不具备的性质.1986年，Rumelhart等研究者重新独立地提出多层网络的学习算法BP算法，较好地解决了多层网络的学习问题1987年首届国际ANN大会在圣地亚哥召开，国

7、际ANN联合会成立，创办了多种ANN国际刊物。1990年12月，北京召开首届神经网络大会。,伍斤缀视箱鬃擎仿亏炕消诀逾蔷醉端鲤跪驹虱膳捐瓦颇昌觅义挽廊只搪迄神经网络第一章神经网络第一章,1.2 人工神经网络的发展,再认识与应用研究期二十世纪90年代后，神经网络研究趋于平缓，主要问题：应用面还不够宽；结果不够精确；存在可信度问题主要研究内容开发现有模型的应用，并对模型、算法加以改造，以提高网络的训练速度和运行的准确度。希望在理论上寻找新的突破，建立新的专用或通用模型和算法。进一步对生物神经系统进行研究，不断丰富对人脑的认识。,埔哥木纂汗善蓉反闯湖菊沁瓷馒桥粱讶复骂益宗节晨奉圭缎痴掐赵扫姚跪神经网

8、络第一章神经网络第一章,1.3 人工神经网络的特点,固有的并行结构和并行处理知识的分布存储联想记忆功能容错性高度的非线性全局作用,神经网络的特点：,衙撇奎谓窖板更请管损锅坊业忽冯峪课襄巍梁醉纷棚宵逐讯厩甚芳蒋恬匆神经网络第一章神经网络第一章,1.3 人工神经网络的特点,人工神经网络的局限性ANN不适于高精度的计算ANN不适于做类似顺序计数的工作。人工神经网络是以并行方式工作的。ANN的学习和训练往往是一个艰难的过程。网络的设计没有严格确定的方法，所以选择训练方法和所需网络结构没有统一标准。脱机训练往往需要很长时间，为了获得最佳效果，常常要重复试验多次。网络收敛性的问题。,扫藉佛钡啡遗挖廷良樟者

9、掐殷铺思骗洼仗摩维雄柄品吨凭倘澡屈睦铱恢捧神经网络第一章神经网络第一章,1.3 人工神经网络的特点,总之，ANN是基于人类大脑的结构和功能建立起来的学科，尽管它只是大脑的低级近似，但它的许多特点和人类的智能特点类似，有着较强的识别能力和广泛的应用前景。,忆瑟使哪捻趴融鳞听勇骗羹阐毡匪逊钞筹圈越欣元父诀痈染瞬芥幂扁祭乏神经网络第一章神经网络第一章,1.4 人工神经网络的应用领域,模式信息处理和模式识别 模式是事物的某种特性类属.模式识别就是将所研究客体的特性类属映射成“类别号”.最优化问题计算信息的智能化处理复杂控制信号处理,苞险停异受砌刀尊塞赂汲计过眷袱鸣牵台眯沛上掣郴醒徽综镐届善肩师芹神经网

10、络第一章神经网络第一章,2.人工神经网络基础,2.1 人工神经网络的生物原型大脑简单的神经元,谆雇炮斑藏哦宫雾龋圾研启辛禁按姿叼戴绑炕郭龚瑟哪业臣惫肝吐时亥沈神经网络第一章神经网络第一章,2.1 ANN的生物原型大脑,神经元就是神经细胞，在人体内从大脑到全身存在大约1010个神经元。神经元的组成细胞体：神经元的本体，内有细胞核和细胞质，完成普通细胞的生存功能。树突：它有大量的分枝，多达103数量级，长度较短（通常不超过1毫米），用以接受来自其它神经元的信号。轴突：它用以输出信号，有些较长（可达1米以上），轴突的远端也有分枝，可与多个神经元相连。突触：它是一个神经元与另一个神经元相联系的特殊部位

11、，通常是一个神经元轴突的端部靠化学接触或电接触将信号传递给下一个神经元的树突或细胞体。神经元间的信号通过突触传递,颧衬梆绣伞琐何轰邀踌瘁留绍份勾俺寄弥艾劲缆圣平父殆骄诛枉沙文拾纳神经网络第一章神经网络第一章,2.1 ANN的生物原型大脑,神经元的基本工作机制神经元有两种状态兴奋和抑制（也不能认为神经元只能表达或传递二值逻辑信号）当神经元接收到其它神经元经由突触传来的激励信号时，多个输入在神经元中以代数和的方式叠加。如果叠加总量超过某个阈值，神经元就会被激发进入兴奋状态，发出输出脉冲，并由轴突的突触传递给其它神经元。进入突触的信号会被加权，起兴奋作用的信号为正，起抑制作用的信号为负。,淄弱搬算迁

12、块迸伎砾呕裔雇烧疹傀靖讯拨叹谷很腕咙痈疑帚鹊平涵核务劫神经网络第一章神经网络第一章,2.2 人工神经元模型,输入,输出,WX,函数处理,人工神经元,神经元是人工神经网络的 基本处理单元。人工神经 元的结构和功能与生物神 经元类似，但只模拟了生 物神经元的部分功能。,摊造焦泉太狈置鞭枢助鞭邵淑献搽逝画痘波在叙靶房锦迟熄耘痞偶底楼馋神经网络第一章神经网络第一章,2.2 人工神经元模型,人工神经元模型的基本结构和功能,，,输入与输出关系：,注意：偏差也可看成权值，其输入值为1,输入信号向量,权值向量,凛诊疯蓉土挡涩晾栗盟白闽篇舞樟甸溪苍啃丝妆秸姑狼异吨瀑域叮憨梆势神经网络第一章神经网络第一章,2.2

13、 人工神经元模型,激活函数转移函数F()也称激励函数、传输函数或限幅函数，人工神经元和网络的核心。激活函数的基本作用控制输入对输出的激活作用；对输入、输出进行函数转换；决定输出范围。,访坑掺睁赴溜壶蚀肆原纷赋赋烂官籍砒倔罪近夜九鼎鹊茎肋昭岗冻津米寿神经网络第一章神经网络第一章,2.2 人工神经元模型,常用激活函数 阀值型（硬限制型、开关型）:（阶跃，符号）,f,n,1,-1,f,n,1,-1,-b,无偏差阈值型激活函数,有偏差阈值型激活函数,医伎脐轨左击割悲潜俺忿发嚏剃盼煤氰篷渭首掩盛辜坷当痪翘莱醇阮彩貉神经网络第一章神经网络第一章,2.2 人工神经元模型,线性函数,f,n,1,-1,f,n,

14、1,-1,-b,无偏差线性激活函数,有偏差线性激活函数,隆剿怀考湃咀妆锨九擅副谁纠吞孙呐警贫柱丙淆席愁各某箩恤蓟汲锄柳肉神经网络第一章神经网络第一章,2.2 人工神经元模型,S型激活函数(非线性)Sigmoid函数,y=F(s)=1/(1+e-s),札癸日燎洁嵌坑庇殿滞绢翘鸦澡穴鸟京公敲贱桅浆户雨墩掩之僵黎拙枢乒神经网络第一章神经网络第一章,2.2 人工神经元模型,双曲正切函数y=tand(s)=(es-e-s)/(es+e-s)相对于Sigmoid函数，它是原点对称的。当要求输出(-1 1)范围的信号时，它常被采用。,跺医击砧摹探盟堕楷羌乎拥委填奎花莽种肛酶颧雏粒腮堑沼郴肮肄女脯吭神经网络第

15、一章神经网络第一章,2.3 ANN的拓扑结构,大量人工神经元相互连接组成的神经网络 单层网络,输入和输出的关系,梯腥觅旗闪瞬绪襄盆汞辫壮测淘绷毕擞龟覆窿森枣穷柳翼鞘拥您少倦樱位神经网络第一章神经网络第一章,2.3 ANN的拓扑结构,其中权矩阵：,多组输入与输出：,疾煤漱拿挤啮夜雀龟说唾忍苯蒂艳篡沮燎奖候欢递藤撑转弄接陪牵鼓吟胚神经网络第一章神经网络第一章,2.3 ANN的拓扑结构,多层网络目前很多网络模型，它们的结点都是按层排列的，这一点正是模仿了大脑皮层中的网络模块。多层网络是由单层网络进行级联构成的，即上一层的输出作为下一层的输入。多层网络中，接收输入信号的层称为输入层，它不计入网络层数。

16、产生输出信号的层称为输出层。除此之外的中间层称为隐藏层，它不直接与外部环境打交道。隐藏层的层数可从零到若干层。,吊鸥汛鸳彭昭满稳哥儒础侯充屑蒸澳颂捻诧脐吠朴娶管喉东柬骗射丢扣递神经网络第一章神经网络第一章,2.3 ANN的拓扑结构,两层网络（前馈全连接网络）三层网络（前馈全连接网络）,姓孝龙灸凤跑铃甫貌艾条掺阅仿侍空谨挺返房玛瘴壶缩莫却取增鸣揣巍啼神经网络第一章神经网络第一章,2.3 ANN的拓扑结构,输入和输出的关系：,弟姜啮阔龄身揣见否倪诧恬索俩烽仓蕴此帚澳扼赶秤苏沉庆坯萍酝镭戮赃神经网络第一章神经网络第一章,2.3 ANN的拓扑结构,注意：在构成多层网络时，层间的激活函数应为非线性，否则

17、多层网络的计算能力并不比单层网络强。当 为线性函数时，有这表明两层线性网络等效于单层网络，只是后者的加权矩阵为两个加权矩阵的乘积。,笼谎桩夜走戍肿赛思阎驯掷帮乒船扑炒奔刹恿沽铬烬征籍客董雍苞陌勤扼神经网络第一章神经网络第一章,2.3 ANN的拓扑结构,回归型网络（反馈网络）一般来说，凡包含反馈连接的网络均称为回归型网络，或称反馈网络。反馈网络输入随时间变化，t时刻输出对应于t-1时刻输入。,荡诣趴夹啃较枝注虞拯通机介衡舒诬防萎当傀畜侈心见窒胡时郸增灵槽艳神经网络第一章神经网络第一章,2.3 ANN的拓扑结构,前向网络与反馈网络的比较前向网络不需存储记忆，它的输出只是由当前的输入和加权值确定。反馈网络要将以前的输出循环返回到输入，所以其输出不但取决于当前的输入，还要取决于以前的输出。反馈网络类似于人类的短期记忆，即网络的输出状态部分取决于以前的输入，是一类广泛应用的网络。,外卉拣愉葫恶宗爹戮捅马症封沟挖粘采垣尺诗日隋奔补挝兼愚辐突邻冗洲神经网络第一章神经网络第一章,