[企业管理]第五章 BP网络.ppt
,Chapter 5 BP网络多层神经网络,2012-5-22,章节目录,BP神经元及BP网络模型BP网络的学习BP网络学习算法BP网络学习算法的比较BP网络泛化能力的提高BP网络的局限性BP网络的MATLAB仿真程序设计BP网络设计的基本方法BP网络应用实例,BP神经元及BP网络模型,BP神经元及BP网络模型,BP神经元的传输函数最常用的为logsig和tansig函数，输出层有时也采用purelin线性函数。如：a=logsig(Wp+b)BP神经网络信息从输入层流向输出层，是一种多层前馈神经网络。,BP网络的学习,BP网络的学习,BP网络学习过程分为两个阶段：第一个阶段：输入已知的学习样本，通过设置网络结构和前一次迭代的权值和阈值，从网络第一层向后计算各神经元的输出。第二个阶段：对权值和阈值进行修改，从最后一层向前计算各权值和阈值对总误差的影响，据此对各权值和阈值进行修改。BP算法（back propagation）：由误差逐层往回传递，以修正层与层间的权值和阈值的误差反响传播算法称之为BP算法。将该种算法推广到多层网络形成BP网络。,长沙,BP网络学习算法,最速下降BP算法,3 第k次迭代的总误差曲面的梯度4 修正权值和阈值 X(k):第k次迭代各层之间的连接权向量或阈值向量：学习速率，默认值为0.01缺点：收敛速度慢 易陷于局部极小 容易发生震荡,动量BP算法,对权值和阈值的修正：优点：收敛速度较快，学习时间较短。学习率 根据局部误差曲面作出相应的调整，使得算法稳定且尽量大的步长。,学习率可变的BP算法,弹性BP算法,目的：消除梯度幅度的不利影响。g(k):第k次迭代的梯度：权值或阈值第k次迭代的幅度修正值,变梯度算法,变梯度算法中，沿着变化的方向进行搜索，使其收敛速度比最陡下降梯度方向的收敛速度更快。1 第一次迭代沿着最陡梯度下降方向开始2 最佳距离的线性搜索沿着当前搜索方向 P(k):第k+1次迭代的搜索方向如何计算，介绍不同的变梯度算法中的四种计算方法。,变梯度算法,（1）Fletcher-Reeves修正算法（2）Polak-Ribiere 修正算法（3）Powell-Beale复位算法 当梯度 时，有（4）SCG算法 采用了模型信任区间逼近原理，避免了搜索方向计算耗时问题。,线性搜索路径,（1）黄金分割搜索 确定误差极小点的区间连续两次迭代中，误差性能增加时，确定误差性能F(x)在 区间内存在极小点。减小极小点区间大小c=a+(1-0.618)(b-a)d=b-(1-0.618)(b-a)比较F(c)与F(d)不断重复上述过程，直到最小点的区间小宇设定值为止。,线性搜索路径,（2）Brent搜索 综合运用了黄金分割搜索和二次差值的线性搜索方法。令 求的极小点 d，重复此方法，继续进行搜索。,线性搜索路径,（3）对分-三次差值混合搜索应用对分法，将在包含误差性能极小点的不确定区间减半。进行三次插值，减小不确定区间的范围。,线性搜索路径,（4）Charalambous搜索采用二次插值和一种分割算法。（5）反响跟踪搜索采用当前点的误差性能函数及其偏导，步长系数=1，即逐渐倍增值，直到误差性能函数值Fx(temp)减少到给定的范围内为止。,拟牛顿算法,牛顿法:基于二阶泰勒级数的快速优化算法。A(k)：为误差性能函数在当前权值和阈值下的Hessian矩阵拟牛顿法：不需要求二阶导数，用Hessian矩阵近似值进行修正。BFGS算法（近似Hessian矩阵，适用于规模较小的网络算法）OSS算法（不储存全部的Hessian矩阵，假定每一次迭代时，前一次迭代Hessian矩阵具有一致性）,LM算法,类似于拟牛顿法，以近似二阶训练速率进行修正，避免计算Hessian矩阵。（H近似表示Hessian矩阵）其中：H 为雅克比矩阵，包含网络误差函数对权值和阈值一阶导数 e为网络的误差向量 当 为0时，上式为牛顿法,BP网络学习算法比较,BP网络泛化能力的提高,BP网络泛化能力的提高,“过适配”现象：对训练样本集数据拟合较好，但是由于噪声的影响，没能很好的实现对争先曲线的拟合。*为加噪正弦训练集实线为对正弦函数的拟合结果虚线为实际的正弦函数提高网络泛化能力方法：归一化法 提前终止法,BP网络泛化能力的提高,归一化法（1）修正网络误差性能函数 其中：r为误差性能调整率 msw为权值和阈值均方值（2）自动归一化 利用贝叶斯框架理论，决定归一化最佳误差性能调整率。,BP网络泛化能力的提高,提前终止法：将数据分为三个子集，分别是：训练样本集：计算梯度和修正网络的权值和阈值确认样本集：在训练过程中，监控确认样本集的误差。训练初期，确认样本集误差在正常减少，即为训练样本集的误差，而在网络开始出现“过适配”时，确认样本集的误差在明显增加，当确认样本集的误差连续增加的次数达到指定的迭代次数时，训练便被终止，此时网络返回具有最小确认样本集误差的权值和阈值。（例题）测试样本集：用于各种不同模型的比较以及画测试样本集的误差曲线,BP网络泛化能力的提高,归一化法与提前终止法比较归一化法比提前终止法具有更好的泛化性能（采用所有数据样本）归一化法用于函数逼近的性能好提前终止法用于模式识别的性能好归一化法比提前终止法收敛所需花费的时间要长,BP网络的局限性,BP网络的局限性,学习率与稳定性的矛盾学习率的选择缺乏有效的方法训练过程可能陷于局部最小没有确定隐层神经元数的有效方法,BP网络的MATLAB仿真程序设计,BP网络设计的基本方法,网络层数输入层的节点数输出层的节点数隐层的节点数传输函数训练方法及其参数选择,BP网络应用实例,用于模式识别与分类的BP网络（例题）用于曲线拟合的BP网络（例题）,常用函数总结,Thank you,
