神经网络技术及其在故障诊断中的应用.ppt
《神经网络技术及其在故障诊断中的应用.ppt》由会员分享,可在线阅读,更多相关《神经网络技术及其在故障诊断中的应用.ppt(173页珍藏版)》请在三一办公上搜索。
1、第四章 神经网络技术及其在故障诊断中的应用,神经网络基础 典型结构的神经网络 改进型BP算法及其在故障诊断中的应用,一、神经网络基础,神经网络的发展及特点,神经网络就是用物理上可以实现的器件、系统或现有的计算机来模拟人脑的结构和功能的人工系统。它由大量简单神经元经广泛互联构成一种计算结构,在某种程度上可以模拟人脑生物神经系统的工作过程。,1、神经网络的发展,神经网络的发展可以追溯到一个世纪之前。一般将这一百多年的历史分为三个阶段。自1890年至1969年为初始发展期;1969年至1986年为发展的过渡时期;自1986年以来,步入了发展的高潮期。,初始发展期,1890年,美国生理学家W.Jame
2、s出版了生理学一书,首次阐明了人脑的结构及其功能,以及一些学习、联想、记忆的基本规则。,1943年,和W.Pitts根据已知的神经细胞生物基础,描述了一个简单的人工神经元模型,即后来的“MP模型”。,1949年发表了论著行为自组织,提出了很多有价值的观点。Hebb同时提出了网络学习的规则,从而使神经网络具有了可塑性。,1958年,F.Rosenblatt提出了“感知器(perception)”模型,用于模拟一个生物视觉模型。这是第一个真正的神经网络。,过渡时期,1969年,M.Minsky和S.Paper经过对“感知器”模型的深入研究,发表了论著感知器,分析了一些简单的单层感知器,说明这些单层
3、的感知器只能解决线性分类问题,对于非线性或其他的分类则会遇到很大困难。这个观点使得许多专家放弃了对神经网络的研究。但在这个阶段,也还有一些研究人员在继续进行探索。,1982年,物理学家提出了全连接神经网络,后来被称为Hopfield神经网络,在网络的理论分析和综合上达到了相当的深度。虽然早期的Hopfield网络存在一些问题,如,网络的权值固定、不能学习、大规模的网络实现困难,而且无法克服局部极小点问题等等,但Hopfield的研究为神经网络带来了复兴的希望,极大地推动了神经网络的发展。,这个时期,由等多人组成的并行分布处理研究小组提出了误差反向传播神经网络,即BP网络。这是一种按照一定的输入
4、输出关系进行自组织的神经网络。同时他们还明确揭示了神经网络的三个主要属性,即网络模型的结构、神经元的输入输出变换函数及算法,对神经网络在各领域的推广应用起了很大的作用。BP网络目前已成为一种应用最为广泛的神经网络。,1987年,在美国圣地亚哥召开了第一届国际神经网络会议,此后国际神经网络协会成立。从此,神经网络技术的研究呈现出蓬勃活跃的局面,理论研究不断深入,各种类型的网络模型和算法纷纷出现,应用范围不断扩大。,发展高潮期,1994年,在美国奥兰多首次召开IEEE全球计算智能大会,此次会议将模糊算法、神经网络和遗传算法三个领域综合起来,有力地促进了不同研究领域之间的交叉渗透和共同发展。,2、神
5、经网络的特点,神经网络具有以下四个基本特点:,(1)广泛连接的巨型系统。,脑科学已经证明人脑是由数量及其庞大的脑细胞组成的,每个细胞之间又有着及其广泛复杂的相互连接。人工神经网络着眼于模拟人脑,虽然目前还无法实现和人脑一样庞大的结构体系,但从本质上说,它是一个广泛连接的巨型系统。,(2)分布式存储信息。,神经网络系统中,信息是以某种形式分布在广大神经元及其相互连接中的。,(3)并行处理功能。,研究表明,神经元之间的信息传递是毫秒级的,比电子开关的速度慢得多;而实际上人在瞬间就能完成一幅图像的辨识。由此可以推断,人脑对信息的处理是并行式的。,(4)自学习、自组织和自适应功能。,学习功能是神经网络
6、的一个重要特征,正是因为神经网络具有自学习能力,才使得它在应用中表现出强大的自组织和自适应能力。,神经网络技术的出现,为故障诊断问题提供了一种新的解决途径。特别是对复杂系统,由于基于解析模型的故障诊断方法面临难以建立系统模型的实际困难,基于知识的故障诊断方法成了重要的、也是实际可行的方法。,神经网络的基础,1、神经元模型,神经网络的基本单元称为“神经元”,它是对生物神经元的简化和模拟。,生物神经元由细胞体、树突和轴突三部分组成。如下图所示。,树突是细胞的输入端,通过细胞体之间连接的节点“突触”接受周围细胞传出的神经冲动;轴突相当于细胞的输出端,其端部的众多神经末梢为信号的输出端子,用于传出神经
7、冲动。,图 生物神经元结构示意图,生物神经元具有两种工作状态:“兴奋”和“抑制”。,当传入的神经冲动使细胞膜电位升至高于其阈值时,细胞进入兴奋状态,产生神经冲动,由轴突输出;,反之,若传入的神经冲动使细胞膜电位下降至低于阈值时,细胞进入抑制状态,就没有神经冲动输出。,基于生物神经元的结构和工作特性,对生物神经元进行模拟,得到人工神经元。如下图所示。,图中,各变量的下标i表示神经网络中的第i个神经元。该神经元是一个多输入、单输出的非线性元件。,图 人工神经元模型示意图,人工神经元的输入输出关系可描述为:,其中,xj(j=1n)为来自其他神经元的输入信号;i为该神经元的阈值;ij表示从神经元j到神
8、经元i的连接权值;si表示神经元的状态;f()为某种非线性函数,它将神经元的状态si变换成神经元的输出yi,所以称为神经元的输出函数或者传递函数。,为了便于统一处理,上式可表示为:,式中:i0-i;x01。,神经元模型中的传递函数f()可以有多种形式。下面介绍几种常用的形式。,(1)阈值单元模型,或,其中,u(x)表示单位阶跃函数。,阈值单元模型的特点是其传递函数为二值函数,神经元的输出为0,1或者1。感知器、M-P模型以及最初的Hopfield模型中都采用这种类型的传递函数。,(2)限幅线性函数,其中,a0。,(3)Sigmoid型函数,常用的Sigmoid型函数有以下两种:,Sigmoid
9、型函数因其连续、可微的性质,得到了广泛的应用。在BP网络中就采用了这种类型的传递函数。,(4)高斯型函数,基本的高斯型函数如下:,在RBF(径向基函数)神经网络中采用了这种类型的传递函数。,2、神经网络的拓扑结构,神经网络是由大量神经元相互连接而构成的网络。根据连接方式的不同,神经网络的拓扑结构通常可分成两大类:层状结构和网状结构。,层状结构的神经网络由若干层组成,其中一层为网络的输入层,另一层为网络的输出层,其余介于输入层和输出层之间的则为隐含层。每一层都包括一定数量的神经元。在相邻层中神经元单向连接,而同一层内的神经元相互之间无连接关系。根据层与层之间有无反馈连接,层状结构的神经网络可进一
10、步分为“前馈网络”与“反馈网络”两种类型。,前馈网络又称为前向网络,其特点是在前后相邻的两层之间神经元相互连接,在各神经元之间没有反馈。每个神经元可以从前一层接收多个输入,并产生一个输出传递给下一层的各个神经元,信息只能从输入层开始逐层向前依次传递。前馈网络可以包括许多层,但三层前馈网络即可满足实际应用的要求。,下图为三层前馈网络的结构图。它包括三个单层的输入层、隐含层和输出层。神经网络中有计算功能的节点称为计算单元,因此,前馈网络的隐含层和输出层节点属于计算单元。,图 三层前馈网络的结构图,反馈网络在输出层和隐含层、或者隐含层和隐含层之间具有反馈连接,即相应的节点同时接收来自前面一层单元的输
11、入和来自后面节点的反馈输入。递归神经网络(recurrent neural network-RNN)是目前一种常用的反馈网络。构成递归神经网络模型总的思路是通过对前馈网络中引入一些附加的内部反馈通道来增强网络的信息处理能力。,根据状态信息的反馈途径,可以构成两种基本的递归结构模型:Jordan型和Elman型,如下图所示。,(a)Jordan型,(b)Elman型,图 基本的RNN结构模型,网状结构的神经网络又称为互联网络,其特点是任何两个神经元之间都可能存在双向的连接关系,所有的神经元既作为输入节点,同时又作为输出节点。,图 网状结构的神经网络,输入信号要在所有神经元之间反复传递,从某一初始
12、状态开始,经过若干次变化,直到收敛于某一稳定状态或进入周期振荡等状态为止。,网状结构的神经网络如下图所示。,3、神经网络的学习规则,神经网络卓越的信息处理能力来自于网络中各神经元之间的连接权值。要模拟人脑的信息处理能力,必须使神经网络具有学习功能。学习的本质是调整各神经元之间的连接权值,而如何调整连接权值就构成了不同的学习算法。,神经网络的学习方法有两大类:有导师学习和无导师学习。,在无导师学习中,没有直接的误差信息,需要建立一个间接的评价函数,以对网络的某种行为进行评价。,在有导师学习方法中,神经网络的输出与期望的输出(即教师值)相比较,然后根据两者之间的误差函数(又称为目标函数)来调整网络
13、的权值,最终使误差函数达到最小值。,下面介绍几种常用的神经网络学习规则。,(1)Hebbian学习规则,Hebbian学习规则来源于Hebb关于生物神经元学习过程的假设:当两个神经元同时处于兴奋状态时,它们之间的连接应当加强。,令ij表示从神经元j到神经元i的连接权值,则ij按下式确定的变化量调整:,此式为有导师的Hebbian学习规则。其中,自变量t表示当前时间;ti(t)为教师信号;g(,)和h(,)为适当的非线性函数。,当没有教师信号时,可以设g(,)的函数值为yi(t),h(,)的函数值正比于yj(t),因此,连接权值的变化量按下式调整:,上式为无导师的Hebbian学习规则。其中,0
14、表示学习速率的系数。,在有导师的Hebbian学习规则中,如果g(,)的函数值正比于教师信号ti(t)与神经元i的输出yi(t)之间的差值,即,并且,h(,)的函数值与神经元j的输出yj(t)成正比,即,其中,10为系数。,其中,20为系数。则由Hebbian学习规则可得:,上式即为学习规则。式中,0表示学习速率的系数。,(2)Delta()学习规则,在学习规则中,教师信号可看作为期望的输出,式,中的反映了神经网络期望输出和实际输出之间的差异。,学习规则的实质就是通过迭代计算逐步调整网络权值ij,直到使误差达到最小。,竞争式学习规则属于无导师学习方式。它认为,神经网络是由许多“区域”组成的,各
15、个区域包含一定数量的神经元,当有外界刺激输入时,在同一个区域里的各个神经元发生竞争性响应,其结果是只有一个神经元获胜从而达到兴奋状态,其余神经元则被抑制。,(3)竞争式学习规则,“自组织竞争人工神经网络”是一种模拟某类生物神经网络结构和现象的人工神经网络模型。在该类生物神经网络中存在一种侧抑制现象,即一个神经细胞兴奋后,通过它的分支会对周围其他神经细胞产生抑制。这种侧抑制使神经细胞之间出现竞争,一个兴奋最强的神经细胞对周围神经细胞的抑制作用也最强。,“竞争式学习规则”是自组织竞争神经网络中的一种基本学习规则。,设j为三层前向网络输入层中某个神经元(j=1n),i为隐含层神经元(i=1h),且隐
16、含层神经元采用Sigmoid型传递函数。假设整个隐含层属于同一个竞争区域,则竞争式学习规则如下:,式中,表示隐含层神经元i的状态,表示该神经元的输出;表示输入层神经元j的状态,表示该神经元的输出。,如果在隐含层中竞争的结果神经元k获胜,则其输出达到最大,根据式,输入层所有与该神经元相连接的权值ij都将发生变化,其结果将使kj yj(sj),即 0,从而使权值的调整达到稳态。,而此时其他竞争失败的神经元受抑制,其输出为最小:,二、典型结构的神经网络,反向传播(BP)网络,BP(Back Propagation)网络是一种最为常用的前馈网络,其结构如下图所示。它有一个输入层,一个输出层,一个或多个
17、隐含层。每一层上包含若干个节点,每个节点代表一个神经元。同一层上的各个节点之间无耦合连接关系,信息从输入层开始在各层之间单向传播,依次经过各隐含层节点,最后到达输出层节点。,图 BP网络,设BP网络接受的输入数据为n个,以向量x表示:,网络产生m个输出数据,用向量y表示:,则网络将对应地有n个输入节点、m个输出节点。BP网络可视为从n维输入空间到m维输出空间地非线性映射,即,定理1:给定任一连续函数:f:0,1n Rm,f可以精确地用一个三层BP网络实现,该网络的第一层即输入层有n个神经元,中间层有(2n1)个神经元,第三层即输出层有m个神经元。该定理反映了映射网络的存在性。,定理2:给定任意
18、0,对于任意的L2型连续函数f:0,1n Rm,存在一个三层BP网络,它在任意平方误差精度内逼近f。,由上述两个定理表明,只要用三层的BP网络就可实现L2型连续函数。基于这一结论,在实际应用中三层BP网络已成为最为广泛应用的BP网络。,在BP网络的应用中,如何选取BP网络的隐含层数及其节点数,目前尚无准确的理论和方法。以下是几个确定三层BP网络隐含层节点数h的经验参考公式:,(1),其中,n为输入神经元数;m为输出神经元数;a为110之间的常数。,(2),BP网络的学习采用BP算法,即“误差反向传播算法”。,在BP算法中要用到梯度下降法,下面先介绍梯度下降法,然后再介绍BP算法。,梯度下降法,
19、梯度下降法源于最优化计算方法,它是各类有导师学习算法中最为基本的一种方法。,梯度下降法的基本思想是以神经网络期望的输出和网络实际输出之间的误差平方作为学习的目标函数,根据使其最小化的原则来调整网络的权值。,定义如下误差函数:,式中,k为网络的离散时间变量;W为网络所有权值组成的向量;Y(k)为期望的网络输出向量;为网络的实际输出向量;表示向量的欧几里德范数。,梯度下降法就是沿着E(W)的负梯度方向不断修正W的值,直至使E(W)达到最小值。,式中,(k)是控制权值调整速度的变量,通常和计算的步长有关。,用数学公式表示为:,BP算法,设BP网络共有M层(不包括输入层),第l层的节点数为nl,yk(
20、l)表示第l层节点k的输出,则yk(l)由下两式确定:,式中,sk(l)为第l层神经元k的状态,神经元的状态按式 表示,即,(为该神经元的阈值。),上式采用了向量表示法,其中,Wk(l)为由网络权值组成的系数行向量,y(l-1)为第l-1层的输出列向量。输入层作为第0层处理,因此,y(0)=x,x为网络的输入向量。,给定样本模式X,Y后,BP网络的权值将被调整,使如下的误差目标函数达到最小:,式中,为网络的输出;W表示BP网络中所有的权值;nM为最后一层(输出层)的节点数,因此nMm,且。,根据梯度下降最优化方法,可以通过E(W)的梯度来修正权值。连至第l层第i个神经元的权值向量Wi(l)的修
21、正量由下式确定:,对于输出层(第M层),上式中的 为:,对于隐含层 为:,以上即为BP算法。对于给定的输入输出样本,按照上述过程反复调整权值,最终使网络的输出接近期望的输出。,由于权值的修正是在输入所有样本并计算总体误差后进行的,所以BP算法属于批处理的方法。,BP算法整个处理过程可以分为两个阶段:,第二个阶段:对权值的修正,从网络的输出层开始逐层向后进行计算和修正,这是反向传播过程。,第一个阶段:从BP网络的输入层开始逐层向前计算,根据输入样本计算出各层的输出,最终求出网络输出层的输出,这是前向传播过程;,这两个过程反复交替,直到收敛为止。,反向传播的适用情况正向传播用于进行网络计算,对其输
22、入求出它的输出;反向传播用于逐层传递误差,修改连接权值,以使网络能进行正确的计算。一旦网络经过训练用于求解现实问题,则就只需正向传播,不需要再进行反向传播。,网络实质上实现了一个从输入到输出的映射功能,而数学理论已证明它具有实现任何复杂非线性映射的功能。这使得它特别适合于求解内部机制复杂的问题;,网络能通过学习带正确答案的实例集自动提取“合理的”求解规则,即具有自学习能力;,多层前向BP网络的优点:,网络具有一定的推广、概括能力。,BP算法的实质是梯度下降法,因而可能存在陷入局部极小以及收敛速度慢等问题。为了解决这些问题,通常采用全局最优算法与BP算法相结合的方法,同时还可以采取以下措施:,给
23、权值加以扰动。在学习的过程中给权值加以扰动,有可能使网络脱离当前局部最小点的陷阱;,选择合适的初始权值;,在网络的学习样本中适当加些噪声,可避免网络依靠死记的办法来学习;,多层前向BP网络存在的问题及采取的措施:,当网络的输出与样本之间的差小于给定的允许误差范围时,则对此样本神经网络不再修正其权值,以此来加快网络的学习速度;,适当选择网络的大小,尽可能使用三层网络,这样可以避免因层数多、节点数多、计算复杂化而可能导致反向误差发散的情况。,径向基函数(RBF)网络,径向基函数(radial basis functionRBF)网络也是一种常用的前馈网络,其结构如下图所示。,图 RBF网络,从结构
24、上看,径向基函数(RBF)网络它属于三层前馈网络,包括一个输入层、一个输出层和一个隐含层。,输入层节点的作用是将输入数据x1,x2,xn传递到隐含层节点;隐含层节点称为RBF节点,由以高斯型传递函数为典型代表的辐射状函数神经元构成;输出层节点的传递函数通常为简单的线性函数。,隐含层节点的高斯核函数对输入数据将在局部产生响应。即当输入数据靠近高斯核函数的中心时,隐含层节点将产生较大的输出;反之则产生较小的输出。,高斯核函数的表达式为:,式中:,x=(x1,x2,xn)T是RBF网络的输入数据向量;uj是第j个隐含层节点的输出,且uj0,1;Cj是高斯核函数的中心值;h为隐含层RBF节点数;j为标
25、准化常数。,RBF网络的输出是隐含层节点输出的线性组合,即,式中:,第一阶段:根据所有输入样本决定隐含层各节点的高斯核函数的中心值Cj和标准化常数j;,第二阶段:当决定了隐含层的参数后,再根据样本,利用最小二乘原则,求出输出层的权值向量Wi。,RBF网络的学习过程分为两个阶段:,Hopfield网络是典型的反馈型神经网络(feedback neural network)。,Hopfield网络,在反馈型神经网络中,输入数据决定了反馈系统的初始状态,经过一系列状态转移后,系统逐渐收敛至平衡状态。这个平衡状态就是反馈型神经网络经计算后的输出结果。,稳定性是反馈型神经网络最重要的问题之一。如果能找到



- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 神经网络 技术 及其 故障诊断 中的 应用

链接地址:https://www.31ppt.com/p-6326232.html