《神经网络介绍》PPT课件.ppt

人工神经网络 Artificial Neural Networks,何水明大学数学部联系电话：Email：办公地点：数理学院楼214,主要参考书目,1、Philip D.Wasserman，Neural Computing:Theory and Practice，Van Nostrand Reinhold，1989；2、史忠植，神经计算，电子工业出版社，1993年11月；3、杨行峻、郑君里，人工神经网络，高等教育出版社，1992年9月；4、飞思科技产品研发中心，神经网络理论与MATLAB7实现，电子工业出版社，2005.3.,关于神经网络的最最最通俗认识,他到底能干吗?简单说来，这个东西就是模拟人脑的行为的，他就是根据人脑内部的神经结构将其仿生用于解决问题的，所以，理论上来说，只要人脑能做的，他应该都能做的。具体说来，就是给你2堆很复杂的数据，要你找出他们之间的关系，那当然很难是不是？然后神经网络就解决这样的事情。通过对他的训练，最后他能建立其这2堆乱七八糟间的数据的关系。最后的效果就是，你给他第3堆数据，他自动能得到这堆数据所对应的输出是什么!,关于神经网络的最最最通俗认识,这么说太抽象了，然后我们来理解下人脑对事物的认识就清楚了，比如你每天所碰到的那么多人这是一堆数据，对吧，然后呢，另一堆数据就是他们的性别，刚开始人脑也不知道什么性别不性别的，不知道性别有两类，性别分男女，随后呢，成长过程中，不断看到一些人，然后不断有人告诉你这个是男人，那个是女人，好了，你脑子内部的神经元开始活动，开始建立连接，其实就是相当于上面的训练。最后的效果就是随便给你个人，即使你没看到过的，你也能知道这个是什么性别的，所以，数学上也把神经网络叫为从n维空间向m维向量空间的高度非线性映射!,关于神经网络的最最最通俗认识,现在他用的地方很多，预测是个大方面，比如交通流量什么的，有些人希望能根据前3月的流量就知道后面一个月的流量，那么就可以用些历史数据对这个神经网络训练，最后效果就是你给他3个月的数据，他就给你输出这个月的数据，其实是预测了，就相当于人脑内部的神经元建立完毕后，给定任何一个人，他都能对他进行性别判别。,关于神经网络的最最最通俗认识,还有，不少人当然异想天开用在其他方面了，比如股票，更加心黑点的就是彩票了，告诉你前8期的彩号，能预测出最新一期的中奖号，那是多么好的事情啊！,关于神经网络的最最最通俗认识,他无所不能吗?显然不是，世上哪有那么好的事情啊，大家都不是笨蛋，有这种东西，早发了!神经网络的限制条件，应用条件是你的输入量和你想要输出的或者说预测的量，要有明确的物理意义，你不能把两堆莫名奇妙的根本没关系的量，仍给他训练。那样即使他训练完毕，碰到新的问题还是解决不了!,关于神经网络的最最最通俗认识,还是人的那个列子，性别呢，就是分2类的，(第3类我就先不考虑了。)一个人他不是男人，就是女人。所以人和性别之间是有明确对应关系的，这样的东西，你去训练是有道理的。但是呢，你如果要把人和别的物理量进行联系，即使人脑本领通天，那也是联系不起来了.,关于神经网络的最最最通俗认识,他是什么原理?他的原理完全就是根据大脑神经元的工作方式，神经与神经元通过阈值，连接权方式的连接模式，可处理各种复杂映射关系。数学上也证明了用3层神经网络模型，理论上可逼近任意函数。,引 言,利用机器模仿人类的智能是长期以来人们认识自然、改造自然和认识自身的理想。研究ANN(Artificial Neural Networks)目的：（1）探索和模拟人的感觉、思维和行为的规律，设计具有人类智能的计算机系统。（2）探讨人脑的智能活动，用物化了的智能来考察和研究人脑智能的物质过程及其规律。,ANN研究的目的和意义,(1)通过揭示物理平面与认知平面之间的映射，了解它们相互联系和相互作用的机理，从而揭示思维的本质，探索智能的本源。(2)争取构造出尽可能与人脑具有相似功能的计算机，即ANN计算机。(3)研究仿照脑神经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。,人工神经网络概述,什么是人工神经网络？T.Koholen的定义：“人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。”,第一节 神经网络概念,神经网络:泛指生物神经网络与人工神经网络。生物神经网络:指由中枢神经系统及周围神经系统所构成的错综复杂的神经网络，它负责对动物机体各种活动的管理，其中最重要的是脑神经系统。人工神经网络：指模拟人脑神经系统的结构和功能，运用大量的处理部件，由人工方式建立起来的网络系统。,一、脑神经系统与生物神经元,脑神经系统:神经系统是由结构上相对独立的神经细胞构成的。据估计，人脑神经系统的神经细胞约为1011个。生物神经元 生物神经元组成：神经细胞称之为生物神经元。神经元主要由三个部分组成：细胞体、轴突、树突。,生物神经元组成,神经元之间的联系:轴突及突触与其它许多神经元建立联系。树突接收来自不同神经元的信息。神经元之间的这种复杂联系就形成了相应的神经网络。神经元重要特性：动态极化原则时空整合处理功能兴奋与抑制工作状态结构的可塑性突触界面具有脉冲与电位信号的转换功能突触对信息的传递具有时延和不应期,脑神经信息活动的特征,(1)巨量并行性。(2)信息处理和存储单元结合在一起。(3)自组织自学习功能。,二、人工神经元及其互连结构,人工神经网络是由大量处理单元(人工神经元、处理元件、电子元件、光电元件等)经广泛互连而组成的人工网络，用来模拟脑神经系统的结构和功能。信息的处理是由神经元之间的相互作用来实现。知识与信息的存储表现为网络元件互连间分布式的物理联系。网络的学习和识别取决于各神经元连接权值的动态演化过程。,1、人工神经元人工神经元是组成人工神经网络的基本处理单元，简称为神经元。心理学家麦克洛奇(WMcCulloch)和数理逻辑学家皮兹(W.Pitts)于1943年首先提出了一个简化的神经元模型，称为M-P模型。MP模型：神经网络的基本处理单元是神经元，为实现神经网络的计算功能，需分别给出神经元的计算模型和网络连接方式。,MP模型：,其中 表示输入，表示输出,对应于生物神经元的轴突。权值 表示输入的连接强度。正权表示兴奋输入，负权表示抑制输入。表示神经元兴奋时的阈值，当加权和大于 时，神经元处于兴奋状态。,M-P 模型对抑制性输入(负权)赋于了“否决权”，只有当不存在抑制性输入，且兴奋性输入的总和超过阈值，神经元才会兴奋，其输入与输出的关系如表所示。M-P模型输入输出关系表,在M-P模型基础上发展起来的常用神经网络模型如图所示：,神经元的结构模型,x(i=1，2，n)为该神经元的输入Wi 为该神经元分别与各输入间的连接强度，称为连接权值；为该神经元的阈值，s 为外部输入的控制信号，它可以用来调整神经元的连接权值，使神经元保持在某一状态；y 为神经元的输出。,神经元的工作过程一般是：(1)从各输入端接收输入信号xi；(2)根据连接权值wi，求出所有输入的加权和：(3)用某一特性函数(又称作用函数)f 进行转换，得到输出y：,2、神经元的互连形态人工神经网络是由神经元广泛互连构成的，不同的连接方式就构成了网络的不同连接模型，常用的有以下几种：前向网络从输出层到输入层有反馈的网络层内有互连的网络互连网络,(1)前向网络：前向网络又称为前馈网络。在这种网络中，神经元分层排列，分别组成输入层、中间层和输出层。每一层神经元只接收来自前一层神经元的输入。输入信息经各层变换后，最终在输出层输出，如图所示。,（2）从输出层到输入层有反馈的网络。这种网络与上一种网络的区别仅仅在于，输出层上的某些输出信息又作为输入信息送入到输入层的神经元上。,图2 从输出层到输入层有反馈的网络,(3)层内有互连的网络。同一层上的神经元可以互相作用。,图3 层内有互连的网络,（4）互连网络。在这种网络中，任意两个神经元之间都可以有连接，如图4所示。在该网络中，信息可以在神经元之间反复往返地传递，网络一直处在一种改变状态的动态变化之中。,图4 互连网络,三、人工神经网络的特征及分类,1、人工神经网络有以下主要特征：能较好地模拟人的形象思维。具有大规模并行协同处理能力。具有较强的容错能力和联想能力。具有较强的学习能力。两种方式学习：有教师的学习无教师的学习,2、人工神经网络的分类若按网络的拓扑结构划分 无反馈网络；反馈网络；若按网络的学习方法划分 有教师的学习网络；无教师的学习网络；若按网络的性能划分 连续型；离散型网络 确定型；随机型网络；若按连接突触的性质划分 一阶线性关联网络；高阶非线性关联网络。,第二节 神经网络模型,一、感知器模型 感知器是由美国学者Rosenblatt于1958年提出的一个具有单层计算单元的神经网络。,单层感知器模型：,1、线性阈值单元线性阈值单元是前向网络(又称前馈网络)中最基本的计算单元，它具有n个输入(x1，x2，x n)，一个输出(y)，n个连接权值(w1，w2，wn。)，且符合下式：,线性阈值单元示意,感知器,只有一个节点的感知器：感知器输出：利用简单感知器可以实现逻辑 代数中的一些运算。取阶跃 函数作为状态转移函数。,感知器,感知器输出：,“与”运算，当,时，上式,完成逻辑“与”运算。,“或”运算，当,时，上式完成逻辑“或”运算。,“非”运算，当,时，上式完成逻辑“非”运算。,2、单层感知器及其算法单层感知器只有一个计算层，它以信号模板作为输入，经计算后汇总输出，层内无互连，从输出至输入无反馈，是一种典型的前向网络，如图所示。,在单层感知器中，当输入的加权和大于等于阈值时，输出为1，否则为0或-1。它与M-P模型的不同之处是假定神经元间的连接强度(即连接权值wij）是可变的，这样它就可以进行学习。单层感知器的学习及其算法：学习的目的是调整连接权值，以使网络对任何输入都能得到所期望的输出。考虑仅有一个输出节点的情况，其中，xi是该输出节点的输入；wi 是相应的连接权值(i=1，2，n)；y(t)是时刻t的输出；d是所期望的输出，它或者为1，或者为-1。学习算法如下：,(1)给wi(0)(i=1，2，n)及阈值分别赋予一个较小的非零随机数作为初值；这里wi(0)表示在时刻t=0时第i个输入的连接权值。(2)输入一个样例X=x1，x2，xn和一个所期望的输出d。(3)计算网络的实际输出：,(4)调整连接权值：此处01，它是一个增益因子，用于控制调整速度。如果实际输出与已知的输出一致，表示网络已经作出了正确的决策，此时就无需改又wi(t)的值。(5)转到第(2)步，直到连接权值w，对一切样例均稳定不变时为止。,3、多层感知器只要在输入层与输出层之间增加一层或多层隐层，就可得到多层感知器。,三层感知器,中国神经网络委员会（CNNC）简介,中国神经网络委员会创建于1990年，当时国际上神经网络学术研究迅猛发展。最重要的发起推动人是罗沛霖院士(IEEEFellow)，他在1987年访问美国时，会晤了人工神经网络的学术权威霍普费尔德和密德，回国后便推动这项学术活动，促成了由中国电子学会、中国计算机学会、中国自动化学会、中国人工智能学会、中国生物物理学会、中国心理学会等十五个国家一级学会成立了中国神经网络委员会联合体，挂靠在中国电子学会，其英文名称为ChinaNeuralNetworksCouncil，简记为CNNC。,中国神经网络委员会（CNNC）简介,同年在北京召开召开了第一届全国神经网络学术会议，罗沛霖担任大会主席。这次会议虽是第一届，到会竟有四百余人，选读论文一百五十篇。从此，这个新学科在全国蓬勃发展起来。,中国神经网络委员会（CNNC）简介,CNNC是一个非营利性的学术团体，目的和宗旨是团结本学术科研领域多学科的广大科技工作者，通过开展国际和国内学术交流活动，促进模仿生物神经智能系统工作原理的智能技术繁荣和发展，促进智能领域边缘学科的交叉融合和科技合作，促进新的学术科研成果在高技术产业领域的推广应用，为发展智能信息科学技术做贡献。,中国神经网络委员会（CNNC）简介,CNNC始终把开展学术活动作为中心工作，自成立之日起，作为发起者已举办了十五届全国性和国际性的学术会议，其中大型国际会议包括国际神经网络联合大会（InternationalJiontConferenceonNeuralNetworks,IJCNN92）、95年和2001年的亚太地区神经网络国际会议（ICONIP95，ICONIP98,InternationalConferenceonNeuralInformationProcessing）、98年和2005年的神经网络与脑国际会议(InternationalConferenceonNeuralNetworksandBrain,ICNNB05)等。,中国神经网络委员会（CNNC）简介,CNNC在国际神经网络界创立了很好的声誉，与本学术领域国际知名学者和主要国际学术组织(IEEENeuralNetworksSociety和国际神经网络学会-INNS)有密切的学术联系。CNNC是亚太神经网络联合会（AsiaPacificNeuralNetworkAssembly，简记APNNA，93年创立）的五个发起国和地区（中国、日本、新西兰、韩国、中国香港地区）的代表之一，CNNC的主席吴佑寿院士和钟义信教授分别任APNNA的95-96年度和2001-2002年度主席。CNNC的委员在IEEENNS(IEEE神经网络学会)和国际神经网络学会（INNS）也担任重要学术职务。IEEENNS的中国地区专业分会于2003年底成立，主席沙踪院士。,中国神经网络委员会（CNNC）简介,CNNC的最高决策机构是委员会会议。目前的委员大部分是由国家一级学会的理事担任，学科专业涉及人工智能、通信电子学、微电子技术、计算机科学与技术、自动化、信息处理学、声学、光学、生物物理学、数学、神经科学、心理学、医学、生命电子学、化学工程、仿生学等。,谢谢大家！再见！20090911,