人工神经网络及其应用第3讲感知机及BP网络.ppt
人工神经网络及其应用第3讲感知机及BP网络,何建华电信系，华中科技大学2003年2月25日,2,一、内容回顾二、感知机三、自适应线性元件四、内容小结,内容安排,3,生物神经元人工神经网络结构神经网络基本学习算法,一、内容回顾,4,生物神经元生物神经元模型突触信息处理信息传递功能与特点人工神经网络结构神经网络基本学习算法,一、内容回顾,5,生物神经元模型,一、内容回顾,6,生物神经元人工神经网络结构人工神经网络人工神经元模型常见响应函数人工神经网络典型结构神经网络基本学习算法,一、内容回顾,7,生物神经元人工神经网络结构神经网络基本学习算法权值确定Hebb学习规则误差校正学习规则相近（无教师）学习规则,一、内容回顾,8,Hebb学习规则,Donall Hebb根据生理学中条件反射机理，于1949年提出的神经元连接强度变化的规则如果两个神经元同时兴奋(即同时被激活)，则它们之间的突触连接加强 a为学习速率，Vi,Vj为神经元i和j的输出Hebb学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作Hebb学习规则的变形,9,误差校正规则,用已知样本作为教师对网络进行学习学习规则可由二次误差函数的梯度法导出误差校正学习规则实际上是一种梯度方法不能保证得到全局最优解要求大量训练样本，收敛速度慢对样本地表示次序变化比较敏感,10,无教师学习规则,这类学习不在于寻找一个特殊映射的表示，而是将事件空间分类为输入活动区域，并有选择地对这些区域响应，从而调整参数一反映观察事件的分部输入可以为连续值，对噪声有较强抗干扰能力对较少输入样本，结果可能要依赖于输入序列在ART、Kohonen等自组织竞争型网络中采用,11,2.1 感知机简介2.2 神经元模型2.3 网络结构2.4 功能解释2.5 学习和训练2.6 局限性,二、感知机,12,感知器由美国计算机科学家罗森布拉特（F.Roseblatt）于1957年提出收敛定理F.Roseblatt证明，如果两类模式是线性可分的（指存在一个超平面将它们分开），则算法一定收敛感知器特别适用于简单的模式分类问题，也可用于基于模式分类的学习控制中 本讲中感知器特指单层感知器,2.1 感知机简介,13,2.2 神经元模型,14,2.3 网络结构,ni 第i个神经元加权输入和ai第i个神经元输出,i1,2,s,15,2.4 功能解释,感知器的基本功能是将输入矢量转化成0或1的输出根据输出值通过测试加权输入和值落在阈值函数的左右对输入数据进行分类,16,2.4 功能解释,这一功能可以通过在输人矢量空间里的作图来加以解释以输入矢量r2为例对选定的权值w1、w2和b，可以在以p1和p2分别作为横、纵坐标的输入平面内画出W*P+bw1 p1十w2 p2十b0的轨迹它是一条直线，此直线上及其线以上部分的所有p1、p2值均使w1 p1十w2 p2十b0，这些点通过由w1、w2和b构成的感知器的输出为1；该直线以下部分的点通过感知器的输出为0,17,2.4 功能解释,18,当采用感知器对不同的输入矢量进行期望输出为0或1的分类时，其问题可转化为对已知输入矢量在输入空间形成的不同点的位置，设计感知器的权值W和b感知器权值参数设计目的，就是根据学习法则设计一条W*P+b0的轨迹，使其对输入矢量能够达到所期望的划分,2.5 网络学习与训练,19,学习规则用来计算新的权值矩阵W及新的偏差B的算法权值的变化量等于输入矢量假定输入矢量P，输出矢量A，目标矢量为T的感知器网络,2.5 网络学习与训练,20,如果第i个神经元的输出是正确的，即aiti，那么与第i个神经元联接的权值wij和偏差值bi保持不变 如果第i个神经元的输出是0，但期望输出为1，即有ai0，而ti1，此时权值修正算法为：新的权值wij为旧的权值wij加上输人矢量pj；新的偏差bi为旧偏差bi加上1 如果第i个神经元的输出为1，但期望输出为0，即有ai1，而ti0，此时权值修正算法，新的权值wij等于旧的权值wij减去输入矢量pj；新的偏差bi为旧偏差bi减去1,2.5 网络学习与训练,21,上述用来修正感知器权值的学习算法在MATLAB神经网络工具箱中已编成了子程序，成为一个名为1earnp.m的函数。只要直接调用此函数，即可立即获得权值的修正量。此函数所需要的输人变量为：输入、输出矢量和目标矢量（P、A和T）调用命令为：dW，dBlearnp(P，A，T),2.5 网络学习与训练,22,训练思想在输入矢量P的作用下，计算网络的实际输出A，并与相应的目标矢量T进行比较，检查A是否等于T，然后用比较后的误差量，根据学习规则进行权值和偏差的调整重新计算网络在新权值作用下的输入，重复权值调整过程，直到网络的输出A等于目标矢量T或训练次数达到事先设置的最大值时训练结束,2.5 网络学习与训练,23,训练算法对于所要解决的问题，确定输入矢量P，目标矢量T，并确定各矢量的维数及神经元数目：r，s和q；（1）参数初始化a)赋给权矢量w在(l，1)的随机非零初始值；b)给出最大训练循环次数max_epoch；（2）初始化网络表达式。根据输人矢量P以及最新权矢量W，计算网络输出矢量A；（3）检查过程。检查输出矢量A与目标矢量T是否相同。如果是，或已达最大循环次数，训练结束，否则转入（4）（4）学习过程。根据感知器的学习规则调整权矢量，并返回（3）,2.5 网络学习与训练,24,由于感知器的激活函数采用的是阀值函数，输出矢量只能取0或1，所以只能用它来解决简单的分类问题 感知器仅能够线性地将输入矢量进行分类 当输入矢量中有一个数比其他数都大或小得很多时，可能导致较慢的收敛速度,2.6 局限性,25,三、自适应线性元件,3.1 Adline简介3.2 网络结构3.3 网络学习3.4 网络训练3.5 应用举例3.6 局限性,26,3.1 Adline简介,自适应线性元件(Adaptive Linear Element 简称Adaline)由威德罗(Widrow)和霍夫(Hoff)首先提出 自适应线性元件的主要用途是线性逼近一个函数式而进行模式联想。它与感知器的主要不同之处在于其神经元有一个线性激活函数，这允许输出可以是任意值，而不仅仅只是像感知器中那样只能取0或1它采用的是W-H学习法则，也称最小均方差(LMS)规则对权值进行训练,27,3.2 网络结构,神经元(a)与网络(b),28,3.3 学习规则,W-H学习规则是由威德罗和霍夫提出的用来修正权矢量的学习规则 采用W-H学习规则可以用来训练一定网络的权值和偏差使之线性地逼近一个函数式而进行模式联想(Pattern Association)定义一个线性网络的输出误差函数目的是通过调节权矢量，使E(W，B)达到最小值所以在给定E(W，B)后，利用W-H学习规则修正权矢量和偏差矢量，使E(W，B)从误差空间的某一点开始，沿着E(W，B)的斜面向下滑行,29,3.3 学习规则,根据梯度下降法，权矢量的修正值正比于当前位置上E(W，B)的梯度，对于第i个输出节点有：或表示为,30,3.3 学习规则,为学习速率。在一般的实际运用中，实践表明，通常取一接近1的数，或取值为：自适应线性网络还有另一个潜在的困难，当学习速率取得较大时，可导致训练过程的不稳定采用W-H规则训练自适应线性元件使其能够得以收敛的必要条件是被训练的输入矢量必须是线性独立的，且应适当地选择学习速率以防止产生振荡现象,31,3.4 网络训练,自适应线性元件的网络训练过程可归纳为以下四个步骤初始化。权值W,B和T表达。计算训练的输出矢量A=W*P+B，以及与期望输出之间的误差E=T-A 检查。将网络输出误差的平方和与期望误差相比较，如果其值小于期望误差，或训练已达到事先设定的最大训练次数，则停止训练；否则继续 学习。采用W-H学习规则计算新的权值和偏差，并返回到“表达”过程,32,3.5 应用举例,考虑一个较大的多神经元网络的模式联想的设计问题输入矢量P和目标矢量T,33,3.5 应用举例,求解精确解这个问题的求解同样可以采用线性方程组求出，即对每一个输出节点写出输入和输出之间的关系等式,34,3.5 应用举例,求解神经网络训练误差记录训练后权值,35,3.5 应用举例,求解神经网络由输入矢量和目标输出矢量可得：r3，s4，q4。网络的结构如下图示,36,3.5 应用举例,分析Adline与方程求解求解前述16个方程不太容易，需要一定时间对一些实际问题，如果不需要求出其完美的零误差时的解，也即允许存在一定的误差时，采用自适应线性网络求解可以很快地训练出满足一定要求的网络权值如果输入矢量具有奇异性，用函数solvelin.m求解精确解时将产生问题。而神经网络则能得到较好的性能,37,3.6 Adline与感知机,网络模型结构上 感知器和自适应线性网络而言，结构上的主要区别在于激活函数，分别为二值型和线性学习算法 感知器的算法是最早提出的可收敛的算法它的自适应思想被威德罗和霍夫发展成使其误差最小的梯度下降法在BP算法中得到进一步的推广，它们属于同一类算法适用性与局限性 感知器仅能够进行简单的分类。感知器可以将输入分成两类或四类等，但仅能对线性可分的输入进行分类。自适应线性网络除了像感知器一样可以进行线性分类外，还可以实现线性逼近，因为其激活函数可以连续取值而不同于感知器的仅能取0或1的缘故,38,四、内容小结,内容回顾感知机自适应线性元件下次讲课内容,39,四、内容小结,内容回顾生物神经元人工神经网络结构神经网络基本学习算法感知机自适应线性元件下次讲课内容,40,四、内容小结,内容回顾感知机感知机简介神经元模型网络结构功能解释学习和训练局限性自适应线性元件下次讲课内容,41,四、内容小结,内容回顾感知机自适应线性元件Adline简介网络结构网络学习网络训练应用举例局限性下次讲课内容,42,四、内容小结,内容回顾感知机自适应线性元件下次讲课内容BP神经网络,43,The End,Questions&SuggestionsThanks！,
