第六讲神经信息处理课件.ppt

《第六讲神经信息处理课件.ppt》由会员分享，可在线阅读，更多相关《第六讲神经信息处理课件.ppt（39页珍藏版）》请在三一办公上搜索。

1、1,智能信息处理课程,第六讲 神经信息处理技术（1）谭营,2,神经网络,神经网络介绍神经网络发展历史神经网络基础神经网络的学习方法前馈神经网络模型及其主要算法反馈神经网络模型及其主要算法神经网络信息处理几个应用实例,3,电子课件下载信息,课件下载：系ftp：162.105.71.46用户名： cis密码：cis07。,4,1、神经网络的有关概念,人工神经网络（Artificial Neural Networks，简记作ANN），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟。,人工智能的研究可分成两种方式，对应不同的技术：传统的

2、人工智能技术心理的角度模拟基于人工神经网络的技术生理的角度模拟,5,人工智能,研究如何使类似计算机这样的设备去模拟人类的这些能力。研究人工智能的目的增加人类探索世界，推动社会前进的能力进一步认识自己三大学术流派符号主义（或叫做符号/逻辑主义）学派联接主义（或者叫做PDP）学派进化主义（或者叫做行动/响应）学派,6,1.1 人工神经网络的提出,1.1.2 物理符号系统,人脑的反映 形式化现实 信息 数据 物理系统 物理符号系统 表现智能,7,1.1 人工神经网络的提出,困难：抽象舍弃一些特性，同时保留一些特性形式化处理用物理符号及相应规则表达物理系统的存在和运行。局限：对全局性判断、模糊信息处理

3、、多粒度的视觉信息处理等是非常困难的。,8,1.1 人工神经网络的提出,1.1.3 联接主义观点 核心：智能的本质是联接机制。 神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统 ANN力求从四个方面去模拟人脑的智能行为物理结构 计算模拟 存储与操作 训练,9,1.1 人工神经网络的提出,1.1.4 两种模型的比较心理过程 逻辑思维 高级形式（思维的表象）生理过程 形象思维 低级形式（思维的根本） 仿生人工神经网络,联结主义观点,物理符号系统,10,1.1 人工神经网络的提出,物理符号系统和人工神经网络系统的差别,11,1.1 人工神经网络的提出,两种人工智能技术的比较,

4、12,1.2 人工神经网络的特点,信息的分布表示运算的全局并行和局部操作处理的非线性,13,1.2.1 人工神经网络的定义1,1）HechtNielsen（1988年）人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元（PE）具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分枝成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。,14,1.2.1 人工神经网络的定义1,处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全

5、局部的。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。,15,1.2.1 人工神经网络的定义1,强调： 并行、分布处理结构； 一个处理单元的输出可以被任意分枝，且大小不变； 输出信号可以是任意的数学模型； 处理单元完全的局部操作,16,1.2.1 人工神经网络的定义2,（2） Rumellhart，McClelland，Hinton的PDP 1） 一组处理单元（PE或AN）；2） 处理单元的激活状态（ai）；3） 每个处理单元的输出函数（fi）；4） 处理单元之间的联接模式；5） 传递规则（wijoi）；6） 把处理单元的输入及当前状态

6、结合起来产生激活值的激活规则（Fi）；7） 通过经验修改联接强度的学习规则；8） 系统运行的环境（样本集合）。,17,人工神经网络的定义3,（3） Simpson（1987年）人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。,18,人工神经网络的特点,2、关键点（1） 信息的分布表示（2） 运算的全局并行与局部操作（3） 处理的非线性特征3、对大脑基本特征的模拟1） 形式上：神经元及其联接；BN对AN2） 表现特征：信息的存储与处理,19,人工神经网络的别名,人工神经系统（ANS）神经网络（NN）自适应系统（Adaptiv

7、e Systems）自适应网（Adaptive Networks）联接模型（Connectionism）神经计算机（Neurocomputer）,20,学习能力,人工神经网络可以根据所在的环境去改变它的行为自相联的网络异相联的网络：它在接受样本集合A时，可以抽取集合A中输入数据与输出数据之间的映射关系。“抽象”功能。不同的人工神经网络模型，有不同的学习/训练算法,21,基本特征的自动提取,由于其运算的不精确性，表现成“去噪音、容残缺”的能力，利用这种不精确性，比较自然地实现模式的自动分类。泛化（Generalization）能力与抽象能力,22,信息的分布存放,信息的分布存放提供容错功能由于信

8、息被分布存放在几乎整个网络中，所以，当其中的某一个点或者某几个点被破坏时，信息仍然可以被存取。系统在受到局部损伤时还可以正常工作。并不是说可以任意地对完成学习的网络进行修改。也正是由于信息的分布存放，对一类网来说，当它完成学习后，如果再让它学习新的东西，这时就会破坏原来已学会的东西。,23,适应性(Applicability)问题,擅长两个方面：对大量的数据进行分类，并且只有较少的几种情况；必须学习一个复杂的非线性映射。目前应用：人们主要将其用于语音、视觉、知识处理、辅助决策等方面。在数据压缩、模式匹配、系统建模、模糊控制、求组合优化问题的最佳解的近似解等方面也有较好的应用。,24,神经网络的

9、发展历史,1.3.1 萌芽期（20世纪40年代）人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，到1949年止。1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊Bulletin of Methematical Biophysics1949年，心理学家D. O. Hebb提出神经元之间突触联系是可变的假说Hebb学习律。,25,第一高潮期（19501968）,以Marvin Minsky，Frank Rosenblatt，Bernard Widrow等为代表人物，代表作是单级感知器（Perceptron

10、）。可用电子线路模拟。人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。,26,反思期（19691982）,M. L. Minsky和S. Papert，Perceptron，MIT Press，1969年 “异或”运算不可表示 二十世纪70年代和80年代早期的研究结果 认识规律：认识实践再认识,27,第二高潮期（19831990）,1982年，J. Hopfield提出循环网络用Lyapunov函数作为网络性能判定的能量函数，建立ANN稳定性的判别依据阐明了ANN与动力学的关系用非线性动力学的方法来研究ANN的特性指出信息被存放在网络中神经元的联接

11、上,28,第二高潮期（19831990）,2）1984年， J. Hopfield设计研制了后来被人们称为Hopfield网的电路。较好地解决了著名的TSP问题，找到了最佳解的近似解，引起了较大的轰动。3）1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理（PDP）小组的研究者在Hopfield网络中引入了随机机制，提出所谓的Boltzmann机。,29,第二高潮期（19831990）,4）1986年，并行分布处理小组的Rumelhart等研究者重新独立地提出多层网络的学习算法BP算法，较好地解决了多层网络的学习问题。（Paker1982和Werb

12、os1974年）国内首届神经网络大会是1990年12月在北京举行的。,30,再认识与应用研究期（1991）,问题：1）应用面还不够宽2）结果不够精确3）存在可信度的问题,31,再认识与应用研究期（1991）,研究：1）开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。2）充分发挥两种技术各自的优势是一个有效方法3）希望在理论上寻找新的突破，建立新的专用/通用模型和算法。4）进一步对生物神经系统进行研究，不断地丰富对人脑的认识。,32,2 人工神经网络基础,2.1 生物神经网 2.2 人工神经元 2.3 人工神经网络的拓扑特性 2.4 存储与

13、映射 2.5 人工神经网络的训练,33,2.1 生物神经网,1、构成,34,The Biological Neuron,10 billion neurons in human brainSummation of input stimuliSpatial (signals)Temporal (pulses)Threshold over composed inputsConstant firing strength,billion synapses in human brainChemical transmission and modulation of signalsInhibitory syn

14、apsesExcitatory synapses,35,Neural Dynamics,Refractory time,Action potential,Action potential 100mVActivation threshold 20-30mVRest potential -65mVSpike time 1-2msRefractory time 10-20ms,36,神经网络的复杂性,神经网路的复杂多样，不仅在于神经元和突触的数量大、组合方式复杂和联系广泛，还在于突触传递的机制复杂。现在已经发现和阐明的突触传递机制有：突触后兴奋，突触后抑制，突触前抑制，突触前兴奋，以及“远程”抑制等

15、等。在突触传递机制中，释放神经递质是实现突触传递机能的中心环节，而不同的神经递质有着不同的作用性质和特点,37,神经网络的研究,神经系统活动，不论是感觉、运动，还是脑的高级功能（如学习、记忆、情绪等）都有整体上的表现，面对这种表现的神经基础和机理的分析不可避免地会涉及各种层次。这些不同层次的研究互相启示，互相推动。在低层次（细胞、分子水平）上的工作为较高层次的观察提供分析的基础，而较高层次的观察又有助于引导低层次工作的方向和体现其功能意义。既有物理的、化学的、生理的、心理的分门别类研究，又有综合研究。,38,作业题,联接主义观点所基于的假说是什么？它在什么层面上如何实现对人类智能的模拟神经网络的基本特点是什么？请简要说明神经网络发展的历史，它对此有什么新的认识？,39,谢谢！,