《神经网络概述》PPT课件.ppt
《《神经网络概述》PPT课件.ppt》由会员分享,可在线阅读,更多相关《《神经网络概述》PPT课件.ppt(58页珍藏版)》请在三一办公上搜索。
1、神经网络导论,连捷 大连理工大学电信学院 E-mail:,2,第一章 神经网络概述第二章 神经网络基础 第三章 前馈神经网络第四章 反馈神经网络 第五章 支持向量机第六章 自组织竞争神经网络 第七章 神经网络辨识与控制,教学安排,3,第一章 神经网络概述,1.1智能的概念1.2 神经网络的基本概念1.3 人工神经网络研究的历史1.4 神经网络研究的意义1.5 人工神经网络的应用领域1.6 人工神经网络与自动控制1.7 小结参考书目,4,1.1智能的概念,智能是个体有目的的行为,合理的思维,以及有效的适应环境的综合能力。也可以说,智能是个体认识客观事物和运用知识解决问题的能力。,1.感知与认识客
2、观事物、客观世界和自我的能力2.通过学习取得经验与积累知识的能力3.理解知识,运用知识和经验分析、解决问题的能力4.联想、推理、判断、决策的能力5.运用语言进行抽象、概括的能力6.发现、发明、创造、创新的能力7.实时、迅速、合理地应付复杂环境的能力8.预测、洞察事物发展变化的能力,5,人工智能,人工智能(Artificial Intelligence,简记为AI)最初在1956年被引入。它研究怎样让计算机模仿人脑从事推理、设计、思考、学习等思维活动,以解决和处理较复杂的问题。研究人工智能的目的 模拟人的智能,将人类从复杂的脑力劳动中解脱出来,6,人工神经网络从以下四个方面去模拟人的智能行为,1
3、.物理结构 人工神经元将模拟生物神经元的功能 2.计算模拟 人脑的神经元有局部计算和存储的功能,通过连接构成一个系统。人工神经网络中也有大量有局部处理能力的神经元,也能够将信息进行大规模并行处理3.存储与操作 人脑和人工神经网络都是通过神经元的连接强度来实现记忆存储功能,同时为概括、类比、推广提供有力的支持4.训练 同人脑一样,人工神经网络将根据自己的结构特性,使用不同的训练、学习过程,自动从实践中获得相关知识,7,1.2 神经网络的基本概念,什么是神经网络?由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统,该系统是靠其状态对外部输入信息的动态响应来处理信息的。一种由许多简单的并
4、行工作的处理单元组成的系统,其功能取决于网络的结构、连接强度以及其各单元的处理方式是一种旨在模仿人脑结构及其功能的信息处理系统,8,1.2 神经网络的基本概念,神经网络的优点神经网络的计算能力有以下优点:大规模并行分布式结构神经网络学习能力以及由此而来的泛化能力。泛化是指神经网络对不在训练(学习)集中的数据可以产生合理的输出,9,1.2 神经网络的基本概念,神经网络的性质和能力非线性 人工神经网络可以是线性的也可以是非线性的,一个由非线性神经元组成的神经网络自身是非线性的输入输出映射 每个样本由一个惟一的输入信号和相应期望响应组成。从一个训练集中随机选取一个样本给网络,网络就调整它的突触权值(
5、自由参数),以最小化期望响应和由输入信号以适当的统计准则产生的实际响应之间的偏差,10,1.2 神经网络的基本概念,神经网络的性质和能力适应性 神经网络具有调整自身突触权值以适应外界变化的能力VLSI(超大规模集成)实现 神经网络的大规模并行性使它具有快速处理某些任务的潜在能力,适用于VLSI技术实现神经生物类比 神经网络是由对人脑的类比引发的,可以用神经生物学来作为解决复杂问题的新思路,11,神经网络的一般框架结构,图中每一个圆圈代表一个神经元(也称处理单元或节点node),每个节点之间通过相互连接形成一个网络拓扑。这个拓扑的模式称为神经网络的互联模式。神经网络以外的部分(虚线方框以外的部分
6、)统称为神经网络的环境。,12,神经网络的分类,从结构分类 前馈神经网络(Feedforward Neural Network)反馈神经网络(Feedback Neural Network)从学习方式分类 有教师学习 无教师学习,13,有教师学习,事先有一批正确的输入输出数据对,将输入数据加载到网络输入端后,把网络的实际响应输出与正确(期望的)输出相比较得到误差。根据误差的情况修正各连接权,使网络朝着正确响应的方向不断变化下去。直到实际响应的输出与期望的输出之差在允许范围之内,这种学习方法通称为误差修正算法。典型的有误差反向传播(Back Propagation,简写为BP)算法。,14,无教
7、师学习,自组织学习 使网络具有某种“记忆”能力,以至形成“条件反射”。当曾经学习过的或相似的刺激加入后,输出端便按权矩阵产生相应的输出。如自组织映射(Self Organization Mapping,简写为SOM)算法。无监督竞争学习 将处理单元划分为几个竞争块。在不同的块之间有刺激连接,而同一块的不同节点之间有抑制连接,从而当外界对不同块的一个单元施加刺激后,将激活不同块中互联最强的一组单元,得到对该刺激的一个整体回忆。,返回,15,1.3 人工神经网络的研究历史,从19世纪末开始,神经网络的发展史可以分为四个时期:启蒙时期(18901969)低潮时期(19691982)复兴时期(1982
8、1986)高潮时期(1987)从神经网络的发展历史可以看出它与神经生理学、数学、电子学、计算机科学以及人工智能学之间的联系。,16,启蒙时期,1890年,美国心理学家William James发表了第一部详细论述人脑结构及功能的专著心理学原理(Principles of Psychology),对相关学习、联想记忆的基本原理做了开创性研究。20世纪40年代,心理学家麦克洛奇(McCulloch)和数理逻辑学家皮兹(Pitts)从信息处理的角度出发,采用数理模型的方法对神经细胞的动作进行研究,提出了形似神经元的数学模型(M-P模型),从此开创了神经科学理论的新时代。,17,1949年,心理学家赫
9、布(Hebb)在行为构成(Organization of Behavior)一书中提出了连接权训练算法,即Hebb算法。1957年,罗森布兰特(Rosenblatt)提出了感知器(Perception)的概念,试图模拟人脑的感知学习能力。1962年,韦德罗(Widrow)和胡佛(Hoff)提出了自适应线性单元(Adaline),这是一个连续取值的线性网络。,启蒙时期,18,1969年,人工神经网络的创始人之一明斯基(Minsky)和佩珀特(Papert)发表了感知器一书,对感知器的能力表示了怀疑态度,使神经网络的研究受到了影响,神经网络的研究从此走向低谷。,启蒙时期,19,低潮时期,1969年
10、,美国学者格诺斯博格(Grossberg)和卡普特尔(Carperter)提出了自适应共振理论(ART)模型。1972年,芬兰学者克豪南(Kohonen)提出了自组织映射(SOM)理论。1979年,福岛邦彦(Fukushima)提出了认知机(Necognitron)理论。在此之后,神经心理学家安德森(Anderson)提出了BSB模型,韦伯斯(Webos)提出了BP理论,为神经网络的发展奠定了基础。,20,复兴时期,1982年,美国物理学家Hopfield在美国科学院院刊上发表论文,提出Hopfield神经网络模型。1984年,Hopfield设计并研制了他提出的神经网络模型的电路,并指出网络
11、中的每一个神经元可以用运算放大器来实现。他同时进行了神经网络应用研究,成功解决了旅行商(TSP)问题,引起世人震惊。这些成果使对神经网络的研究重新进入了一个新的兴盛时期。,21,Hopfield模型的动作原理是:只要由神经元兴奋的算法和神经元之间结合强度所决定的神经网络的状态在适当给定的兴奋模式下尚未达到稳定,那么该状态就会一直变化下去,直到预先定义的一个必定减小的能量函数达到极小值时,状态才达到稳定而不再变化。,22,新时期研究热点问题,理论方面 支持向量机和核方法(SVM and Kernel Methods)图模型(Graphical Models)统计学习方法(Statistical
12、Learning Algorithm)高斯过程(Gaussian Process)泛化问题和模型选择(Generalization and Model Selection)贝叶斯学习(Bayesian Learning)递归神经网络(Recurrent Neural Networks)等,23,实际应用 图象处理(Image Processing)人脸识别(Face Recognition)语音信号处理(Voice Processing)时间序列分析(Time Series Analysis)机器人控制(Robot Control)等,新时期研究热点问题,24,2006年有42项研究课题200
13、5年有40项研究课题2004年有32项研究课题2003年有26项研究课题2002年有26项研究课题2001年有18项研究课题2000年有20项研究课题1999年有22项研究课题,国家自然科学基金中的神经网络研究,神经网络研究的比重逐年增加,已经引起越来越多的国内学者的关注,并成为信息学科的一个研究热点和重点。,25,1988年,Neural Networks创刊1990年,IEEE Transactions on Neural Networks创刊,国际著名期刊,26,IEEE Trans.on Neural Networks,27,Neural Networks,28,著名学者,Prof.M
14、ichael I.Jordan美国加州大学伯克利分校 获加州大学博士学位研究方向:图模型、变分方法、机器学习等。曾在麻省理工学院工作11年。已发表200多篇科技论文。国际上许多神经网络和机器学习方面的专家都曾师从Jordan教授,包括香港中文大学的徐雷教授。,29,著名学者,Prof.Bernhard Scholkopf德国Max Planck生物控制论研究院1997年获柏林科技大学博士学位研究方向:机器学习、感知器、支持向量机和核方法。Scholkopf教授是国际著名杂志Journal of Machine Learning Research、IEEE Trans.On Pattern An
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 神经网络概述 神经网络 概述 PPT 课件
链接地址:https://www.31ppt.com/p-5563531.html