MATLAB神经网络工具箱中的神经网络模型.ppt

MATLAB神经网络工具箱中的神经网络模型,神经网络工具箱简介,MATLAB 7对应的神经网络工具箱的版本为Version 4.0.3,它以神经网络理论为基础,利用MATLAB脚本语言构造出典型神经网络的激活函数,如线性、竞争性和饱和线性等激活函数，使设计者对所选定网络输出的计算变成对激活函数的调用。还可根据各种典型的修正网络权值规则，加上网络的训练过程，利用MATLAB编写出各种网络设计和训练的子程序，用户根据自己的需要去调用。,神经网络工具箱的主要应用,函数逼近和模型拟合信息处理和预测神经网络控制故障诊断,应用神经网络工具箱求解问题的一般过程,确定信息表达方式数据样本已知数据样本之间相互关系不确定输入/输出模式为连续的或者离散的输入数据按照模式进行分类，模式可能会具有平移、旋转或伸缩等变化形式数据样本的预处理将数据样本分为训练样本和测试样本确定网络模型选择模型的类型和结构，也可对原网络进行变形和扩充网络参数的选择确定输入输出神经元数目训练模型的确定选择合理的训练算法，确定合适的训练步数，指定适当的训练目标误差网络测试选择合适的测试样本,人工神经元的一般模型,神经元模型及其简化模型如图所示，输入向量、权值矩阵，与阈值的加权和（内积运算）送入累加器，形成净输入，即：,人工神经元模型,图中，xi(i1，2，n)为加于输入端(突触)上的输入信号；i为相应的突触连接权系数，它是模拟突触传递强度的个比例系数,表示突触后信号的空间累加；表示神经元的阈值，表示神经元的响应函数。该模型的数学表达式为：,与生物神经元的区别:,(1)生物神经元传递的信息是脉冲，而上述模型传递的信息是模拟电压。(2)由于在上述模型中用一个等效的模拟电压来模拟生物神经元的脉冲密度，所以在模型中只有空间累加而没有时间累加(可以认为时间累加已隐含在等效的模拟电压之中)。(3)上述模型未考虑时延、不应期和疲劳等。,响应函数 的基本作用：,1、控制输入对输出的激活作用；2、对输入、输出进行函数转换；3、将可能无限域的输入变换成指定的有限范围内的输出。,根据响应函数的不同，人工神经元有以下几种类型：,阈值单元,响应函数如图a所示,线性单元,其响应函数如图b所示,非线性单元,常用响应函数为S型(Sigmoid)函数，如图c、d所示,Hardlim x=0 y=1;x=0 y=1;x1 y=1;x=0Logsig:y=,人工神经网络的构成,单个神经元的功能是很有限的，人工神经网络只有用许多神经元按一定规则连接构成的神经网络才具有强大的功能。神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法。,人工神经网络连接的基本形式：,1前向网络 网络的结构如图所示。网络中的神经元是分层排列的，每个神经元只与前一层的神经元相连接。最右一层为输出层，隐含层的层数可以是一层或多层。前向网络在神经网络中应用很广泛，例如，感知器就属于这种类型。,2.反馈前向网络,网络的本身是前向型的，与前一种不同的是从输出到输入有反馈回路。,内层互连前馈网络,通过层内神经元之间的相互连接，可以实现同一层神经元之间横向抑制或兴奋的机制，从而限制层内能同时动作的神经数，或者把层内神经元分为若干组，让每组作为一个整体来动作。一些自组织竞争型神经网络就属于这种类型。,互连网络,互连网络有局部互连和全互连两种。全互连网络中的每个神经元都与其他神经元相连。局部互连是指互连只是局部的，有些神经元之间没有连接关系。Hopfield网络和Boltzmann机属于互连网络的类型。,神经网络的学习方式,有教师学习(监督学习),(1)均方误差mse(mean squared error),误差信号的不同定义:,(2)平均绝对误差mae(mean absolute error),(3)误差平方和sse(sum squared error),无教师学习(无监督学习),MATLAB工具箱中的神经网络结构,1.人工神经元的一般模型在,中，令,，,则,人工神经元的一般模型,由此构成人工神经元的一般模型，如下图所示。,上式可写成矩阵向量形式：a=f(Wp+b),由S个神经元组成的单层网络,MATLAB工具箱中的神经网络结构,多层网络的简化表示:,MATLAB神经网络工具箱中的神经网络模型,基本概念:标量:小写字母,如a,b,c等;列向量:小写黑体字母,如a,b,c等,意为一列数;矩阵向量:大写黑体字母,如A,B,C等,权值矩阵向量W(t),标量元素,i为行,j为列,t为时间或迭代函数列向量行向量,阈值向量b(t),标量元素,i为行,t为时间或迭代函数,网络层符号,加权和:,m为第m个网络层,为第 个神经元,n为加权和网络层输出:,m为第m个网络层,为第 个神经元,a为输出输入层权值矩阵,网络层权值矩阵,其中,上标k,l表示第l个网络层到第k个网络层的连接权值矩阵向量,例:表示输入向量的第R个输入元素到输入层的第 个神经元的连接权.,表示 表示,第i个网络层的第 个神经元的阈值,例:,n1为第一层神经元的中间运算结果,即连接权向量与阈值向量的加权和,大小为,即,a1为第一层神经元的输出向量,大小为,神经网络的层数为神经元网络层的数目加1,即隐层数目加1.,多层神经网络结构,多层网络简化形式,图中:,说明:,输入层神经元的个数决定IW的行数,输入向量元素的个数决定IW的列数,即S1行R列.,4.公式和图形中的变量符号在编程代码中的表示方法,细胞矩阵:将多个矩阵向量作为细胞矩阵的”细胞”(Cell),细胞矩阵的各个元素值为对应细胞的大小和数值类型,访问元素:m1=n1,1=,m2=n2,1=,n2,1(4)=5,变量符号在MATLAB中的表示,(1)上标变量以细胞矩阵(Cell array)即大括号表示p1=1(2)下标变量以圆括号表示,p1=p(1),例:,=,神经网络工具箱常用函数列表,重要的感知器神经网络函数：初始化：initp训练：trainp仿真：simup学习规则：learnp,线性神经网络函数,初始化：initlin设计：solvelin仿真：simulin离线训练：trainwh在线自适应训练：adaptwh学习规则：learnwh,BP网络函数：,initff：初始化不超过3层的前向网络；simuff：仿真不超过3层的前向网络；trainbp，trainbpx，trainlm：训练BP trainbp：最慢；trainbpx：次之；trainlm：速度最快，但需要更多的存储空间。learnbp：学习规则,自组织网络,初始化：initsm仿真：simuc训练：trainc：利用竞争规则训练 trainsm：利用Kohonen规则训练,反馈网络（Hopfield网络）,仿真：simuhop设计：solvehopsolvehop设计Hopfield网络solvelin设计线性网络rands产生对称随机数learnbp反向传播学习规则learnhHebb学习规则learnp感知层学习规则learnwhWidrowHoff学习规则initlin线性层初始化initp感知层初始化initsm自组织映射初始化plotsm绘制自组织映射图trainbp利用反向传播训练前向网络trainp利用感知规则训练感知层trainwh利用WidrowHoff规则训练线性层trainsm利用Kohonen规则训练自组织映射,神经网络例子,创建线性神经网络层,net=newlin(1 3;1 3,1);net.IW1,1=1 2;net.b1=0;设有数据集由4个向量组成p1=1 2 p2=2 1 p3=2 3 p4=3 1P=1 2 2 3;2 1 3 1A=sim(net,P)A=5 4 8 5,例2:See P14 in textbook例3:See P39例4:See P40,