《神经网络概述》PPT课件.ppt

神经网络导论,连捷 大连理工大学电信学院 E-mail:,2,第一章 神经网络概述第二章 神经网络基础 第三章 前馈神经网络第四章 反馈神经网络 第五章 支持向量机第六章 自组织竞争神经网络 第七章 神经网络辨识与控制,教学安排,3,第一章 神经网络概述,1.1智能的概念1.2 神经网络的基本概念1.3 人工神经网络研究的历史1.4 神经网络研究的意义1.5 人工神经网络的应用领域1.6 人工神经网络与自动控制1.7 小结参考书目,4,1.1智能的概念,智能是个体有目的的行为，合理的思维，以及有效的适应环境的综合能力。也可以说，智能是个体认识客观事物和运用知识解决问题的能力。,1.感知与认识客观事物、客观世界和自我的能力2.通过学习取得经验与积累知识的能力3.理解知识，运用知识和经验分析、解决问题的能力4.联想、推理、判断、决策的能力5.运用语言进行抽象、概括的能力6.发现、发明、创造、创新的能力7.实时、迅速、合理地应付复杂环境的能力8.预测、洞察事物发展变化的能力,5,人工智能,人工智能（Artificial Intelligence，简记为AI）最初在1956年被引入。它研究怎样让计算机模仿人脑从事推理、设计、思考、学习等思维活动，以解决和处理较复杂的问题。研究人工智能的目的 模拟人的智能，将人类从复杂的脑力劳动中解脱出来,6,人工神经网络从以下四个方面去模拟人的智能行为,1.物理结构 人工神经元将模拟生物神经元的功能 2.计算模拟 人脑的神经元有局部计算和存储的功能，通过连接构成一个系统。人工神经网络中也有大量有局部处理能力的神经元，也能够将信息进行大规模并行处理3.存储与操作 人脑和人工神经网络都是通过神经元的连接强度来实现记忆存储功能，同时为概括、类比、推广提供有力的支持4.训练 同人脑一样，人工神经网络将根据自己的结构特性，使用不同的训练、学习过程，自动从实践中获得相关知识,7,1.2 神经网络的基本概念,什么是神经网络？由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的。一种由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及其各单元的处理方式是一种旨在模仿人脑结构及其功能的信息处理系统,8,1.2 神经网络的基本概念,神经网络的优点神经网络的计算能力有以下优点：大规模并行分布式结构神经网络学习能力以及由此而来的泛化能力。泛化是指神经网络对不在训练（学习）集中的数据可以产生合理的输出,9,1.2 神经网络的基本概念,神经网络的性质和能力非线性 人工神经网络可以是线性的也可以是非线性的，一个由非线性神经元组成的神经网络自身是非线性的输入输出映射 每个样本由一个惟一的输入信号和相应期望响应组成。从一个训练集中随机选取一个样本给网络，网络就调整它的突触权值（自由参数），以最小化期望响应和由输入信号以适当的统计准则产生的实际响应之间的偏差,10,1.2 神经网络的基本概念,神经网络的性质和能力适应性 神经网络具有调整自身突触权值以适应外界变化的能力VLSI(超大规模集成)实现 神经网络的大规模并行性使它具有快速处理某些任务的潜在能力，适用于VLSI技术实现神经生物类比 神经网络是由对人脑的类比引发的，可以用神经生物学来作为解决复杂问题的新思路,11,神经网络的一般框架结构,图中每一个圆圈代表一个神经元（也称处理单元或节点node），每个节点之间通过相互连接形成一个网络拓扑。这个拓扑的模式称为神经网络的互联模式。神经网络以外的部分（虚线方框以外的部分）统称为神经网络的环境。,12,神经网络的分类,从结构分类 前馈神经网络(Feedforward Neural Network)反馈神经网络(Feedback Neural Network)从学习方式分类 有教师学习 无教师学习,13,有教师学习,事先有一批正确的输入输出数据对，将输入数据加载到网络输入端后，把网络的实际响应输出与正确（期望的）输出相比较得到误差。根据误差的情况修正各连接权，使网络朝着正确响应的方向不断变化下去。直到实际响应的输出与期望的输出之差在允许范围之内，这种学习方法通称为误差修正算法。典型的有误差反向传播(Back Propagation,简写为BP)算法。,14,无教师学习,自组织学习 使网络具有某种“记忆”能力，以至形成“条件反射”。当曾经学习过的或相似的刺激加入后，输出端便按权矩阵产生相应的输出。如自组织映射(Self Organization Mapping,简写为SOM)算法。无监督竞争学习 将处理单元划分为几个竞争块。在不同的块之间有刺激连接，而同一块的不同节点之间有抑制连接，从而当外界对不同块的一个单元施加刺激后，将激活不同块中互联最强的一组单元，得到对该刺激的一个整体回忆。,返回,15,1.3 人工神经网络的研究历史,从19世纪末开始，神经网络的发展史可以分为四个时期：启蒙时期（18901969）低潮时期（19691982）复兴时期（19821986）高潮时期（1987）从神经网络的发展历史可以看出它与神经生理学、数学、电子学、计算机科学以及人工智能学之间的联系。,16,启蒙时期,1890年，美国心理学家William James发表了第一部详细论述人脑结构及功能的专著心理学原理(Principles of Psychology)，对相关学习、联想记忆的基本原理做了开创性研究。20世纪40年代，心理学家麦克洛奇(McCulloch)和数理逻辑学家皮兹(Pitts)从信息处理的角度出发，采用数理模型的方法对神经细胞的动作进行研究，提出了形似神经元的数学模型(M-P模型)，从此开创了神经科学理论的新时代。,17,1949年，心理学家赫布（Hebb）在行为构成（Organization of Behavior）一书中提出了连接权训练算法，即Hebb算法。1957年，罗森布兰特（Rosenblatt）提出了感知器（Perception）的概念，试图模拟人脑的感知学习能力。1962年，韦德罗（Widrow）和胡佛（Hoff）提出了自适应线性单元（Adaline），这是一个连续取值的线性网络。,启蒙时期,18,1969年，人工神经网络的创始人之一明斯基（Minsky）和佩珀特（Papert）发表了感知器一书，对感知器的能力表示了怀疑态度，使神经网络的研究受到了影响，神经网络的研究从此走向低谷。,启蒙时期,19,低潮时期,1969年，美国学者格诺斯博格（Grossberg）和卡普特尔（Carperter）提出了自适应共振理论（ART）模型。1972年，芬兰学者克豪南（Kohonen）提出了自组织映射（SOM）理论。1979年，福岛邦彦（Fukushima）提出了认知机（Necognitron）理论。在此之后，神经心理学家安德森（Anderson）提出了BSB模型，韦伯斯（Webos）提出了BP理论，为神经网络的发展奠定了基础。,20,复兴时期,1982年，美国物理学家Hopfield在美国科学院院刊上发表论文，提出Hopfield神经网络模型。1984年，Hopfield设计并研制了他提出的神经网络模型的电路，并指出网络中的每一个神经元可以用运算放大器来实现。他同时进行了神经网络应用研究，成功解决了旅行商（TSP）问题，引起世人震惊。这些成果使对神经网络的研究重新进入了一个新的兴盛时期。,21,Hopfield模型的动作原理是：只要由神经元兴奋的算法和神经元之间结合强度所决定的神经网络的状态在适当给定的兴奋模式下尚未达到稳定，那么该状态就会一直变化下去，直到预先定义的一个必定减小的能量函数达到极小值时，状态才达到稳定而不再变化。,22,新时期研究热点问题,理论方面 支持向量机和核方法(SVM and Kernel Methods)图模型(Graphical Models)统计学习方法(Statistical Learning Algorithm)高斯过程（Gaussian Process)泛化问题和模型选择(Generalization and Model Selection)贝叶斯学习(Bayesian Learning)递归神经网络(Recurrent Neural Networks)等,23,实际应用 图象处理(Image Processing)人脸识别(Face Recognition)语音信号处理(Voice Processing)时间序列分析(Time Series Analysis)机器人控制(Robot Control)等,新时期研究热点问题,24,2006年有42项研究课题2005年有40项研究课题2004年有32项研究课题2003年有26项研究课题2002年有26项研究课题2001年有18项研究课题2000年有20项研究课题1999年有22项研究课题,国家自然科学基金中的神经网络研究,神经网络研究的比重逐年增加，已经引起越来越多的国内学者的关注，并成为信息学科的一个研究热点和重点。,25,1988年，Neural Networks创刊1990年，IEEE Transactions on Neural Networks创刊,国际著名期刊,26,IEEE Trans.on Neural Networks,27,Neural Networks,28,著名学者,Prof.Michael I.Jordan美国加州大学伯克利分校 获加州大学博士学位研究方向:图模型、变分方法、机器学习等。曾在麻省理工学院工作11年。已发表200多篇科技论文。国际上许多神经网络和机器学习方面的专家都曾师从Jordan教授，包括香港中文大学的徐雷教授。,29,著名学者,Prof.Bernhard Scholkopf德国Max Planck生物控制论研究院1997年获柏林科技大学博士学位研究方向:机器学习、感知器、支持向量机和核方法。Scholkopf教授是国际著名杂志Journal of Machine Learning Research、IEEE Trans.On Pattern Analysis and Machine Intelligence,和International Journal of Computer Vision编辑委员会成员。,30,著名学者,Prof.Lawrence Saul加州大学圣地牙哥分校1994年获麻省理工学院博士学位研究方向：机器学习、模式识别、神经网络、语音处理等。Saul教授的高维数据的分析方法和可视化、非线性维数化简已被应用于很多实际科学和工程领域。他发表文章的引用率已经进入计算机科学的前1%，另外他也是著名国际期刊Journal of Machine Learning Research编委会成员和发起人之一。,31,著名学者,Prof.Yoshua Bengio加拿大蒙特利尔大学1991年获加拿大麦基尔大学博士学位研究方向:多层感知机、核方法、递归神经网络等Bengio教授是IEEE Transactions on Neural Networks、Journal of Machine Learning、Neural Computing Surveys的编委。值得一提的是Bengio教授在1994年的一篇著名文章中逆转了递归神经网络梯度学习算法的研究方向，极大地影响了该网络的研究。,32,著名学者,Prof.Frank L.Lewis美国德克萨斯大学获美国乔治亚技术学院博士学位研究方向:反馈系统控制、神经网络和模糊智能控制等现任德克萨斯大学自动化与机器人研究院副院长、IEEE Fellow、International Journal of Control、Neural Computing and Applications等期刊的编委。他共获得超过6百万美元的资助，发表174篇杂志论文，285篇会议论文，12本专著。,33,著名学者,Christopher M.Bishop微软剑桥研究院研究方向:模式识别，基于推理 的概率方法和学习Bishop教授是美国电子学会关于应用神经计算中心的带头人，是剑桥大学达尔文学院的会士(Fellow)，不列颠计算机协会的会士(Fellow)和英国计算研究委员会成员。2004年当选英国皇家工程院会士(Fellow)。1995年曾出版著名专著Neural Networks for Pattern Recognition。,34,著名学者,Prof.Lei Xu(徐雷)香港中文大学研究方向:模式识别、神经网络、统计学习等现任香港中文大学讲座教授、IEEE Fellow、国际模式识别学会Fellow、欧洲科学院院士。已发表的学术论文被引用总量逾1300次，最大单篇被引用量达255(SCI)次。应邀在国际主要学术大会做大会报告/特邀报告/学术讲座40余次。曾任国际神经网络学会理事、亚太地区神经网络学会主席、IEEE神经网络学会计算金融学术委员会主任。,35,著名学者,刘德荣 教授伊利诺大学芝加哥分校1994年获美国圣母大学博士学位研究方向:非线性动态系统、递归神经网络等。刘教授是该校电机与计算机工程系和计算机科学系的终身正教授。2005年，他因在非线性动态系统和递归神经网络方面作出的贡献而被选为IEEE Fellow。自1992年起,共发表40多篇国际学术杂志论文、90多篇国际会议论文，合作出版五本学术专著；担任多个国际期刊的编委。,36,著名学者,Prof.Jun Wang(王钧)香港中文大学1991年 凯斯西储大学 博士研究方向：递归神经网络和工程应用现任香港中文大学自动化与计算机辅助工程系计算智能实验室主任。已发表120多篇期刊论文，多本书籍的11个章节的编写，SCI引用次数超过1300次，现在担任多个著名期刊的编委，是亚太地区神经网络联合会会长。2007年王钧教授因为在递归神经网络及其在优化和工程方面的应用的突出成绩被评为IEEE Fellow。,37,1.4 神经网络研究的意义,神经网络的基本特征 神经网络的特征归纳为结构特征和能力特征。1.结构特征并行处理、分布式存储与容错性 2.能力特征自学习、自组织与自适应性,38,神经网络的基本功能,联想记忆,由于神经网络具有分布存储信息和并行计算的性能，因此它具有对外界刺激信息和输入模式进行联想记忆的能力。这种能力是通过神经元之间的协同结构以及信息处理的集体行为实现的。神经网络是通过其突触权值和连接结构来表达信息的记忆。这种分布式存储使得神经网络能存储较多的复杂模式和恢复记忆的信息。,39,自联想记忆网络中预先存储（记忆）多种模式信息，当输入某个已存储模式的部分信息或带有噪声干扰的信息时，网络能通过动态联想过程回忆起该模式的全部信息。,神经网络的基本功能,联想记忆,40,异联想记忆网络中预先存储了多个模式对，每一对模式均由两部分组成，当输入某个模式对的一部分时，即使输入信息是残缺的或迭加了噪声，网络也能回忆起与其对应的另一部分。,神经网络的基本功能,联想记忆,41,神经网络的基本功能,联想记忆,42,神经网络的基本功能,非线性映射,设计合理的神经网络通过对系统输入输出样本对进行自动学习，能够以任意精度逼近任意复杂的非线性映射。,43,神经网络的基本功能,分类与辨识,对输入样本的分类实际上是在样本空间找出符合分类要求的分割区域，每个区域内的样本属于一类。,44,神经网络的基本功能,优化计算,指在已知的约束条件下，寻找一组参数组合，使由该组合确定的目标函数达到最小值。,45,神经网络的基本功能,返回,知识处理,神经网络的知识抽取能力使其能够在没有任何先验知识的情况下自动从输入数据中提取特征，发现规律，并通过自组织过程加强自身，构建适合于表达所发现的规律。,46,1.5 人工神经网络的应用领域,信号处理 神经网络广泛用于自适应信号处理（自适应滤波、时间序列预测等）和非线性信号处理（非线性滤波、非线性预测等）模式识别 模式识别涉及模式的预处理变换和将一种模式映射转为其他类型的操作。神经网络在这两个方面都有许多成功的应用，例如对图象、语音的处理以及手写字的识别等。,信息领域,47,数据压缩 神经网络可以对待传送（或待存储）的数据提取模式特征，只将该特征传出（或存储），接收（或使用）时再将其转换为原始模式。,信息领域,48,工程领域,汽车工程 神经网络已经成功应用于挡位选择系统、刹车智能控制系统以及柴油机燃烧系统中。军事工程 神经网络已应用于飞行器的跟踪、水下潜艇位置分析、密码学等军事领域。化学工程 神经网络在制药、生物化学、化学工程领域取得了不少成果。例如，谱分析、化学反应生成物的鉴定等。,49,工程领域,水利工程 水力发电过程辨识和控制、河川径流预测、河流水质分类、水资源规划等实际问题中都有神经网络的应用。,50,医学领域,检测数据分析 利用神经网络多道脑电棘波检测系统可用来提供脑电棘波的实时检测和癫痫的预报。生物活性研究 用神经网络对生物学检测数据进行分析，可提取致癌物的分子结构特征，建立分子结构和致癌活性之间的定量关系，并对分子致癌活性进行预报。医学专家系统 利用神经网络学习功能、联想记忆功能和分布式并行信息处理功能，来解决医学专家系统中的知识表示、获取和并行推理等问题。,51,经济学领域,信贷分析 神经网络评价系统将公司贷款申请表中的关键数据编码为输入向量，将实际的信用情况作为输出评价，用数以千计的历史数据对网络进行训练后，可给出准确的评价结果。市场预测 神经网络的市场预测已经广泛应用于股票和期货价格的预测中。,返回,52,1.6 人工神经网络与自动控制,自动控制是上世纪中形成和发展起来的一门新兴学科，它是一门涉及到诸如数学、计算机、信息、电工、电子等众多领域的交叉学科。它的应用和影响，已经遍及很多的技术和社会科学领域。在自动控制发展的过程中，计算机科学一直对它产生着巨大的影响。随着科学技术的发展，对控制系统智能化的要求也越来越高。,53,神经网络的应用已经渗透到自动化控制领域的各个方面，包括系统辨识、系统控制、优化算法以及控制系统的故障诊断与容错控制等。系统辨识 传统的辨识方法，对于一般的非线性系统的辨识是很困难的，而神经网络却为此提供了一个有力的工具。与传统的基于算法的辨识方法相比，神经网络系统辨识具有如下特点：(1)由于神经网络可以任意精度逼近非线性函数，故它可以为非线性系统的辨识提供一个通用的模式。,54,(2)神经网络系统辨识是非算法式的，神经网络本身就是辨识模型，其可调参数反映在网络内部的连接权上。不需要建立以实际系统数学模型为基础的辨识格式，故可以省去辨识前对系统建模这一步骤。(3)神经网络作为实际系统的辨识模型，实际上也是系统的一个物理实现，可应用于在线控制。,55,神经控制器 控制器在实施控制系统中起着大脑的作用神经网络具有自学习和自适应的等智能特点，非常适合做控制器。对于复杂的非线性系统，神经控制器所能达到的控制效果往往明显好于常规控制器。故障诊断与容错控制 神经网络故障诊断与容错控制有两种途径：一种是在传统的方法中使用神经网络；另一种是用神经网络直接构成具有容错能力的控制器。,56,神经网络的收敛性和稳定性问题在逼近非线性函数问题上，神经网络的现有理论只解决了存在性问题神经网络的学习速度一般比较慢，为满足实时控制的需要，必须予以解决对于控制器和辨识器，如何选择合适的神经网络模型与确定的结构，尚无理论指导,难点问题,返回,57,1.7 小结,什么是人工智能什么是人工神经网络神经网络的发展神经网络的基本特征神经网络的基本功能,返回,58,参考书目,Simon Haykin著,叶世伟,史忠植译.神经网络原理.机械工业出版社,2004George F.Luger著,史忠植等译.人工智能复杂问题求解的结构和策略.机械工业出版社,中信出版社蒋宗礼.人工神经网络导论.高等教育出版社，2001胡守仁，余少博，戴葵.神经网络导论.国防科技大学出版社，1993韩力群.人工神经网络理论、设计及应用.化学工业出版社，2002王旭，王宏，王文辉.人工神经元网络原理与应用.东北大学出版社，2000徐丽娜.神经网络控制.哈尔滨工业大学出版社，1999阎平凡，张长水.人工神经网络与模拟进化计算.清华大学出版社，2000孙增圻等.智能控制理论与技术.清华大学出版社,广西科学技术出版社,1999,返回,