智能控制课件第4章人工神经网络模型.ppt

《智能控制课件第4章人工神经网络模型.ppt》由会员分享，可在线阅读，更多相关《智能控制课件第4章人工神经网络模型.ppt（47页珍藏版）》请在三一办公上搜索。

1、第一节 从生物神经网络到人工神经网络,From Biological Neural NetworkTo Artificial Neural Network,Whats this?,大脑Brain,重量:约12001500g体积:约600Cm3神经元数:约1011个,大脑的组织结构和功能是人体器官中最为复杂的，它接受外界信号、产生感觉、形成意识、进行逻辑思维、发出指令产生行为，掌管着人们的语言、思维、感觉、情绪、运动等高级活动。,虽然人们还并不完全清楚生物神经网络是如何进行工作的，但幻想构造一些“人工神经元”，进而将它们以某种方式连接起来，以模拟“人脑”的某些功能。,早在1943年，心理学家W.

2、McCulloch和数学家W.Pitts合作，从数理逻辑的角度，提出了神经元和神经网络最早的数学模型（MP模型），标志着神经网络研究的开端。,半个多世纪以来，神经网络经历了萌芽期、第一次高潮期、反思低潮期、第二次高潮期、再认识与应用研究期五个阶段。目前，神经网络已成为涉及计算机科学、人工智能、脑神经科学、信息科学和智能控制等多种学科和领域的一门新兴的前沿交叉学科。,生物神经元,树突：从细胞体延伸出象树枝一样向四处分散开来的的许多突起，称之为树突，其作用是感受其它神经元的传递信号，相当于信息的输入通道。,轴突：神经元从细胞体伸出一根粗细均匀、表面光滑的突起，长度从几个m到1m左右，称为轴突，它的

3、功能是传出从细胞体来的神经信息，相当于信息的输出通道。,神经末梢与突触：轴突末端有许多细的分枝，称之为神经末梢，每一条神经末梢可以与其它神经元连接，其连接的末端称之为突触。其功能是将轴突传出来的信息传给其它神经细胞，相当于信息的输入/输出接口。,神经细胞单元的信息：宽度和幅度都相同的脉冲串。,兴奋与抑制：轴突输出的脉冲串的频率高与低，决定神经细胞是兴奋还是抑制。兴奋性的突触可能引起下一个神经细胞兴奋，抑制性的突触使下一个神经细胞抑制。,生物神经元的信息传递与处理,膜电位：神经细胞的细胞膜将细胞体内外分开，从而使细胞体内外有不同的电位，一般内部电位比外部低，其内外电位差称之为膜电位。,膜电位加权

4、：突触使神经细胞的膜电位发生变化，且电位的变化是可以累加的，该神经细胞膜电位是它所有突触产生的电位加权，当该神经细胞的膜电位升高到超过一个阈值时，就会产生一个脉冲，从而总和的膜电位直接影响该神经细胞兴奋发放的脉冲数。,突触延迟：突触传递信息需要一定的延迟，对温血动物，延迟时间为0.31.0ms。,生物神经元的信息传递与处理示意图,甲：这样便宜就有水用了？！,乙：想得美，交了钱别人才放水的！,生物神经元的基本特征,神经元具有感知外界信息或其它神经元信息的输入端,神经元具有向外界或其它神经元输出信息的输出端,神经元之间的连接强度（连接权）决定信号传递的强弱，而且联接强度是可以随训练改变的,信号可以

5、是起刺激作用的，也可以是起抑制作用的，即连接权的值（权值）可正、可负,每个神经元有一个阈值,神经元可以对接受的信号进行累积（加权）,神经元的兴奋程度（输出值的大小），取决于其传输函数及其输入（输入信号的加权与阈值之和）,人工神经元的一般模型,甲：讲了半天，人工神经元就是一个公式！太简单了吧？,乙：还是听听再说,Whats this？,Its a plane.,Wait.I dont know!,Dont ask me,神经网络的特点,信息的分布式存储及其与信息处理的合二为一,信息的并行协同处理,具有学习能力以及自组织、自学习性，善于联想、综合和推广,问题：,即便是Pentium-II微处理器，

6、其时钟频率也高于200MHz。相反地，一个神经元的脉冲发放率典型值仅仅在100Hz的范围内。计算机要快上百万倍！但为何大脑能够瞬间完成对飞机图像的识别，计算机反而对此的反应却如此迟钝呢？,为什么100天的小孩没有成人一样的识别能力呢？,人工神经网络的一般结构,简单公式中的复杂问题,人工神经网络的分布式存储是如何实现的？,信息分布存储在众多神经元的权值和阈值中。,神经元的权值和阈值是如何确定的？,人工神经网络的学习与训练。,神经元的传输函数代表什么含义？它对神经元和神经网络有什么影响？,传输函数表示了神经元对输入信号加权的响应。不同的传输函数，代表不同的神经元模型，进而影响神经网络的结构。,人工

7、神经网络（ANN Artificial Neural Networks）是采用可物理实现的系统来模仿人脑神经细胞结构和功能的系统。,未来的脑科学将加强与行为科学、认知科学和信息科学的联系。脑科学与信息科学及技术的结合将引起以脑为中心的科技革命 智能革命!,ANN定义,从生物神经网络到人工神经网络的探索，虽然经历了半个多世纪的里程，但探究大脑思维计算之间的关系还刚刚开始，关于脑的计算原理及其复杂性；关于学习、联想和记忆过程的机理及其模拟等方面的研究道路还十分漫长。,第二节 人工神经网络模型应用与仿真,Applications&Simulationof Artificial Neural Netw

8、ork Models,人工神经网络的应用领域极其广泛，比较擅长的应用领域包括：,人工神经网络的应用,模式识别 人工智能 控制工程 优化计算和联想记忆 信号处理,甲：神经网络真那么神奇吗？,乙：我听说,在人工神经网络的发展过程中，从不同的角度对生物神经系统不同层次的描述和模拟，提出了各种各样的神经网络模型，其中具有代表性的网络模型有：,人工神经网络的模型,感知器 线性神经网络 BP网络 径向基函数网络 自组织网络 反馈网络,关于神经网络的实现技术,神经网络的实现技术可以分为全硬件实现和虚拟实现两个方面。,全硬件实现研究的核心是神经器件的构造，其主要研究方向有：电子神经芯片的研究 光学神经芯片的研

9、究分子/生物神经芯片的研究,虚拟实现主要分为以下几类：传统计算机上的软件仿真 神经计算的多机并行实现 神经网络加速器,神经网络的软件仿真系统,基于传统计算机的软件仿真系统，通用性强，为用户研究和设计神经网络提供了很好的开发平台，因而被迅速推广。,最有代表性的神经计算商用软件有：RCS：1987年，Rochester 大学研制 P3：1986年，Ziper&Rabin 研制 MIRRORS：1988年，Maryland 大学研制 Neural Networks：1989年，Neural Ware公司 GKD：1990年，国防科技大学研制,MATLAB及其工具箱,MATLAB 是 Math Wor

10、ks 公司于1982年推出的一套高性能的数值计算的可视化软件，意为“矩阵实验室”（MATrix LABoratory）。其强大的扩展功能为各个领域的应用提供了基础，由各领域的专家学者相继推出了各种MATLAB工具箱。目前主要的工具箱包括：Communications Toolbox Control System Toolbox Filter Design Toolbox Fuzzy Logic Toolbox Image Processing Toolbox,MATLAB及其工具箱,目前主要的工具箱（续）：Instrument Control Toolbox Mapping Toolbox M

11、odel-Based Calibration Toolbox Predictive Control Toolbox Neural Network Toolbox Optimization Toolbox Differential Equation Toolbox Signal Processing Toolbox System Identification Virtual Reality Toolbox Wavelet Toolbox,MATLAB Neural Network Toolbox,包含了170多种工具箱函数，另外还提供了神经网络动态仿真环境SIMULINK，允许用户自定义神经网络

12、和自定义网络函数。,在MATLAB神经网络仿真程序的设计中，主要用到以下几个方面的NN Toolbox函数：,神经网络的创建/设计函数 初始化函数 训练/学习函数 网络仿真函数,感知器模型,感知器神经元模型,单层感知器神经网络模型,感知器神经网络特点,阈值型传输函数,单层网络,只适于解决线性可分问题,甲：什么是感知器？,乙：我在网上看见,感知器神经网络的学习,训练：权值和阈值的调整过程被称为“训练”。,学习：神经网络在训练的过程中，便学到了把输入空间影射到输出空间的能力，称之为神经网络的“学习”，调整权值和阈值的算法称之为学习规则或训练算法。,感知器的学习规则,感知器的学习是一种有教师学习方式

13、，其学习规则称之为规则。若以 t 表示目标输出，a 表示实际输出，则,网络训练的目的，就是要使 t a。当e=0时，得到最优的网络权值和阈值；当e0时，说明得到的实际输出小于目标输出，应增加网络权值和阈值；当e0时，说明得到的实际输出大于目标输出，应减小网络权值和阈值。,感知器的学习规则,从规则中可以看出，感知器神经网络的训练，需要提供训练样本集，每个样本由神经网络的输入向量和目标向量对构成，n个训练样本构成的训练样本集为：,每一步学习过程，感知器神经元的权值阈值进行调整的算法可表示为：,感知器的MATLAB仿真,单层感知器的MATLAB仿真主要步骤：,以newp创建感知器神经网络 以trai

14、n训练所创建的网络 以sim对训练后的网络进行仿真,单层感知器应用实例,设计一单层单输出感知器神经网络，进行二值化图像卡片上数字0-9的奇偶分类。,感知器的MATLAB仿真,问题分析 从数字1和0的二值化图像卡片可以看出，每一个图像卡片可以分成43的矩形方块，假设每个小方块有数字的笔画划过（即在小方块内二值图像元素的值至少有一个不为0），则记为1，否则记为0，那么图像卡片上所有小方块表达了有0、1二值组成的一个模式（或向量），可以作为感知器神经网络的输入向量。如果我们设计的感知器神经网络使得网络的输出在图像卡片上的数字为奇数时输出为0，偶数时输出为1，则可以完成其奇偶分类。,感知器的MATLA

15、B仿真,设计感知器神经网络,根据以上分析，按本题要求设计的感知器神经网络的基本结构为：网络有1个输入向量，包括12个元素，对应图像卡片上12个小方块的值，输入元素的取值范围为0 1；训练样本集必须包括 0-9 图像卡片样本；为单层、单神经元感知器神经网络；输出是一个二值向量0或1，它的两种不同取值分别表示分类结果的奇偶情况，所以，神经元的传输函数可以取为hardlim函数。,感知器的MATLAB仿真,设计的感知器神经网络结构,感知器神经网络的MATLAB程序实现,神经网络的创建与训练,神经网络的仿真,线性神经网络,线性神经元模型,线性神经网络模型,线性神经网络特点,与感知器一样，只适于解决线性

16、可分问题，但比感知器的抗噪能力强。,具有较广泛的实际用途，特别是在数字信号处理方面，比如，实现高性能的自适应滤波器。,一般为单层，也可为多层网络（MADALINE）,线性神经网络的学习,线性神经网络采用均方误差最小的学习规则，即LMS（Least Mean Squares）算法，来调整网络的权值和阈值，它是一种沿误差的最陡下降方向对前一步权值向量进行修正的。,对Q个训练样本构成的训练样本集为：,LMS算法的基本思想是找到合适的权值和阈值，使下列均方误差最小：,线性神经网络的学习规则,每一步学习过程，线性神经元的权值阈值进行调整的算法可表示为：,式中，是决定权值和阈值的收敛速度和稳定性参数，称之

17、为学习速率，学习率越大，学习的速度越快，但过大的学习率会使修正过度，造成不稳定，反而使误差更大。在MATLAB神经网络工具箱中，可以通过 maxlinlr 函数确定最大的学习率。,线性神经网络的MATLAB仿真,线性神经网络的应用实例,以自适应线性网络实现噪声对消。,问题分析 利用自适应线性网络实现噪声对消的原理框图如图所示：,对消原理,MATLAB仿真程序设计,假设信号为一正弦信号，受到随机噪声的污染。根据以上分析，ADALINE自适应线性神经元的输入向量为随机噪声；正弦波信号与随机噪声之和为ADALINE神经元的目标向量；输出信号为网络调整过程中的误差信号。,本例线性神经网络MATLAB仿

18、真程序设计的主要步骤：,以newlin创建线性神经网络 构造训练样本集 以adapt自适应调整所创建的网络，获得网络训练的误差信号，即为输出信号。,BP神经网络,BP神经元模型,BP神经网络特点,多层网络,理论上，如果隐层神经元数不加限制，两层BP网络可以完成输入到输出的任意函数影射。,传输函数为非线性函数，多为logsig和tansig函数，最后一层也可为purelin函数。,BP网络广泛应用最为广泛，8090的人工神经网络模型是采用BP网络或它的变化形式，体现了人工神经网络最精华的部分。,BP网络的学习规则,标准的BP算法和LMS学习规则一样是一种梯度下降学习算法，其权值的修正是沿着误差性

19、能函数梯度的反方向进行的。针对标准BP算法存在的一些不足，出现了几种基于标准BP算法的改进算法，如变梯度算法、牛顿算法等。,BP网络的MATLAB仿真,BP网络的应用实例,设计基于BP神经网络的印刷体字符0-9的识别系统。,BP网络的MATLAB仿真,问题分析 识别的对象是印刷体数字，这里我们以画图工具获得的不同字体、字号的数字0-9的BMP图形作为原始数据，编程对其进行预处理，获得1616的二值图像，如图所示，其二值图像数据作为神经网络的输入。,BP网络的结构设计,我们选用两层BP网络，其输入节点数为1616=256；隐层传输函数为logsig函数，假设采用一个输出节点表示10个数字，则输出

20、层传输函数为pureline；隐层节点数取为25。,BP网络的MATLAB仿真程序设计,本例MATLAB仿真程序设计的主要步骤：,构造训练样本集，并构成训练所需的输入矢量p和目标矢量t；对原始图像进行预处理；创建和训练BP网络；对训练后的网络进行仿真。,Hopfield网络,离散Hopfield 神经网络模型,Hopfield神经网络特点,引入了网络能量函数概念，使网络稳定性研究有了明确的判据；,善于联想记忆和进行优化计算等。,连续 Hoppfield 网络的电子电路实现为神经计算机的研究奠定了基础；,Hopfield网络的设计,在MATLAB中，Hoppfield 网络是通过设计函数进行创建

21、的，它没有学习函数，不能进行训练。网络设计的目标是：存储一组特定的稳定平衡点，当输入一组初始条件，网络最后可以唤醒对应的稳定平衡点。初始条件输入后，一旦网络开始运行，网络的输出会自动反馈至输入，如此反复，直至网络的输出稳定为止，此时，每一个输出向量最终收敛于与初始条件激励的最接近的一个稳定平衡点。,Hopfield网络的MATLAB仿真,Hoppfield 网络的应用实例,Hopfield 神经网络常用于联想记忆。假设我们希望构造一个联想记忆模型，这个模型能够识别出图示4个数字。,问题分析 以0表示数字笔画划过的小方块，以1表示数字笔画未划过的小方块，则Hopfield网络的需要56个神经元表示各方块的状态；网络结构要求目标向量用一维向量表示。,Hopfield网络的MATLAB仿真程序设计,本例MATLAB仿真程序设计的主要步骤：,根据数字图片，构造标矢量t；创建和设计Hoppfield 网络；对训练后的网络进行仿真。,神经网络理论研究、神经网络应用研究和神经网络的实现技术是人工神经网络的三个研究主要方向。本讲结合神经网络的应用实例，对神经网络模型算法及其MATLAB仿真作了简要介绍，与神经网络本身的深奥理论与广泛应用，犹如“九牛之一毛”，若大家能从中有所收获，便是我最大的欣慰！谢谢大家！,Thanks!,