《生物神经元》PPT课件.ppt

《《生物神经元》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《生物神经元》PPT课件.ppt（48页珍藏版）》请在三一办公上搜索。

1、生物神经元,生物神经网络,生物神经系统是由大量神经细胞（神经元）组成的一个复杂的互联网络。据统计，人类大脑约有10101011个神经元，每个神经元与103105个其它的神经元互相连接，从而构成一个极为庞大复杂的网络。神经元的结构总体来讲可分为三个部分：胞体（Soma），树突（Dendrites）和轴突（Axon）。,生物神经网络工作机理1,在突触的接受侧，信号被送入胞体，在胞体内进行综合，有的信息起刺激作用，有的起抑制作用，当胞体中接受的累加刺激超过一个阈值时，胞体被激发，此时它沿轴突通过树突向其它神经元发出信号。,生物神经网络工作机理2,一个神经元沿轴突通过树突发出的信号是相同的，而这个信号

2、可能对接受它的不同神经元有不同的效果，这一效果主要有突触决定：突触的“联结强度”越大，接受的信号就越强，反之，就越弱。突触的“联结强度”可以随系统受到的训练而被改变。,生物神经元的六个基本特征,1、神经元及其联结,2、联结强度决定信号传递的强弱,3、联结强度可以随训练而改变,4、信号可以是刺激作用的，也可以是抑制的,5、一个神经元接受的信号的累积效果决定 该神经元的状态,6、每个神经元可以有一个“阈值”,神经网络的定义,神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统,它由处理单元及称为联结的无向信号通道互连而成,神经网络模拟人脑的四个方面,1、物理结构：人脑神经细胞约

3、10101011个,2、计算模拟：大规模并行处理,3、存储与操作：信息分布存放，容错、联想能力强,4、训练：从实践中获取知识-学习算法,构造人工神经元的要求,神经元是构成神经网络的最基本单元,要构造神经网络必须先构造人工神经元,人工神经元应是简单实现的数学模型,人工神经元应该能模拟生物神经元的工作机理,人工神经元的构造方法,对于每个神经元，它可以接受来自系统其他神经元的输入信号,每个输入信号对应一个权，相当于突触的“联结强度”,所有输入的加权和决定该神经元的激活状态,人工神经元的网络输入,1、设n个输入分别为x1,x2,xn，对应的权分别为 w1,w2,wn，即有输入向量和权向量：,X=(x1

4、,x2,xn),W=(w1,w2,wn),激活函数(激励函数、活化函数),每个生物神经元有一个阈值，当输入信号累加效果超过阈值时，神经元处于激活状态，否则处于抑制状态。,希望人工神经元有一个更一般的变换函数，来执行该神经元获得的网络输入的变换，这就是激活函数。,o=f(net),激活函数的种类,1、线性函数,2、非线性斜面函数,3、阈值函数，又称阶跃函数,4、S型函数,S型激活函数的特性,1、非线性,2、处处连续可导,3、有较好的增益控制防止网络进入饱和状态,人工神经元，M-P模型,x1,x2,xn,net=XW,w1,w2,wn,o=f(net),将基本模型和激活函数合在一起就构成了人工神经

5、元这就是著名的McCulloch-Pitts模型，M-P模型也称处理单元PE,人工神经网络的简化画法,用节点代表神经元，加权有向边代表从神经元到神经元之间的有向联结，权代表联结强度，箭头代表信号的传递方向。,简单单级网,输入层的神经元不对输入信号做任何处理，它们只起到对输入向量X的扇出作用。,简单单级网,x1,x2,xn,w11,o1,o2,om,简单单级网的输入输出,O=F(NET),多级网,研究表明，单级网的功能是有限的，适当增加网络的层数是提高网络计算能力的一个途径。,多级网的几个约定,输入层：只起到输入信号的扇出作用，不记入层数。,第j层：第j-1层的直接后续层。,输出层：网络的最后一

6、层，具有最大层号，负责输出网络的计算结果。,隐藏层：网络输入层与输出层以外的层,层数：网络输入层的层号,第j-1层到第j层的联结矩阵称第j层联结矩阵，记W(j),非线性激活函数,非线性激活函数在多级网络中其着非常重要的作用。,如果采用线性激活函数，则多级网的功能不会超过单级网的功能。,网络模式的概念,所有的信息都是以模式的形式表现出来的。,输入向量是模式；,输出向量是模式；,同层神经元的某一时刻的状态是模式；,所有神经元的某一时刻的状态是模式；,权矩阵及其所含的向量都是模式。,空间模式与时空模式,网络在某一时刻的状态所确定模式称为空间模式,以时间维为轴展开的空间模式系列称为时空模式,他们如同一

7、幅画面与整个电影的关系,当研究稳定性和网络训练的收敛过程时涉及时空模式,一般情况下，只涉及空间模式,人工神经网络的训练,人工神经网络的学习过程就是对它的训练过程,训练：,输入样本向量,将样本集的内涵以联结权矩阵的方式存储起来,使网络接收输入时，可以给出适当的输出,调整权矩阵,人工神经网络的无导师训练,其训练集中只含一些输入向量，训练算法致力于修改权矩阵，以使网络对一个输入能够给出相容的输出，即相似的输入向量可以得到相似的输出向量。,无导师训练算法用来将训练样本集合中蕴涵的统计特性抽取出来，并以联结权矩阵的方式存储起来，使网络可以按照网络向量的相似性进行分类。,无导师训练的Hebb算法,Wij(

8、t+1)=Wij(t)+oi(t)oj(t),其中：Wij(t+1)、Wij(t)为神经元i联结到神经元j的联结在t+1时刻和t时刻的强度oi(t)、oj(t)为这两个神经元t时刻的输出，为给定的学习效率。,人工神经网络的有导师训练,有导师训练在目前应用中已经非常成功。,有导师训练算法要求给出输入向量的同时，还必须给出相应的理想输出向量。它们构成一个“训练对”,(A1,B1),(A2,B2),(An,Bn),有导师训练算法,1、从样本集中取出一个样本(Ai,Bi)；,2、计算网络的实际输出O；,3、求D=Bi-O；,4、根据D调整权矩阵W；,5、对每个样本重复上述过程，直到对整个样本集来 说，

9、误差不超过规定范围,Wij(t+1)=Wij(t)+(yj-bj)oi(t),离散单输出感知器(M-P模型),设输入：X=(x1,x2,xn),设权向量：W=(w1,w2,wn),训练样本：（X,Y）|X为输入向量，Y为与X对应的输,离散单输出感知器(M-P模型)训练算法,1、初始化权向量W;,2、重复下列过程，直到训练完成；,2.1、对每一个样本，重复下列过程：,、输入X；,、计算O=F(XW)；,、如果输出不正确，则,当O=0时，取W=W+X,当O=1时，取W=W-X,离散多输出感知器,设输入：X=(x1,x2,xn),设理想输出：Y=(y1,y2,ym),设实际输出：YO=(o1,o2,

10、om),设权系数矩阵：W=(wij),样本集为：(X,Y)|X为输入向量，Y为对应输出向量,离散多输出感知器训练算法,1、初始化权向量W;,2、重复下列过程，直到训练完成；,2.1、对每一个样本，重复下列过程：,、输入X；,、计算O=F(XW)；,、for i=1 to m 执行如下操作,if oi不等于yi then,if oi=0 then for j=1 to n,wij=wij+xi,else for j=1 to n,wij=wij-xi,连续多输出感知器,输出函数改为非解跃函数，使它们的输出值变成连续的，使网络更具一般性，更容易适应实际应用的需求，但拓扑结构仍然不变。,连续多输出感

11、知器训练算法,1、用适当的小伪随机数初始化权向量W;,3.1、d=0；,3.2、for 每个样本(X,Y)do；,、输入X,、求O=F(XW),、修改权矩阵W,for i=1 to n,j=1 to m do,、累积误差,for j=1 to m do,d=d+(yj-oj)2,“异或”运算真值表,“异或”运算是计算机领域最基本的运算：,感知器无法实现“异或”运算,如果要实现“异或”运算则,显然，上述方程无解,线性不可分问题的克服,增加网络的层数可以解决感知器线性不可分的问题,多层网络权重确定的难题,理想输出与实际输出之差被直接用来估计直接达到该神经元的联结的权重的误差。为了解决线性不可分问题

12、而引入的多级网络后，如何估计网络隐藏的神经元的误差就成了难题。因为在实际应用中，无法知道隐藏层任何神经元的理想输出值。,BP算法的基本思想,BP(Back Propagation)算法利用输出层的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此下去，就获得了所有其他各层的误差估计。（1986提出）,BP(Back Propagation)算法又称为向后传播算法。,使用BP算法进行学习的多级非循环网络称为BP网络。,BP算法的基本特征和意义,BP算法是非循环多级网络的训练算法。,BP算法的收敛速度非常慢，在高维曲面上局部极小点逃离。,BP算法的出现结束了多级神经网络没有训

13、练算法的历史，对神经网络的第二次高潮的到来起到很大的作用。,BP算法具有广泛的适用性。,BP网络的构成神经元,X=(x1,x2,xn),W=(w1,w2,wn),BP网络的构成神经元的激励函数,按照算法要求，神经元的激励函数必须是处处可导的,通常取S型函数：,f(net)=o(1-o),BP网络的构成网络的拓扑结构,BP算法适用于非循环多级网络的训练,但在说明BP算法的具体原理时，只需一个二级网络,BP网络拓扑结构的几点注意事项,设网络有n层，第h(1=h=n)层神经元的个数为Lh,该层神经元的激活函数用Fn表示联结矩阵用W(h)表示,输入向量和输出向量的维数由问题直接决定，而层数和各层神经元

14、的个数则与问题相关,目前还很难确定它们与问题类型和规模的关系，,隐藏层数及其神经元个数的增加不一定能够提高网络精度和表达能力。BP网一般都选二级网络。,BP网络训练过程,1、样本集,（输入向量，理想输出向量）-实际系统采集,2、向前传播阶段,(1)从样本集中取一个样本(Xp，Yp)，将Xp输入网络；,(2)计算相应的实际输出Op；,3、向后传播阶段,(1)计算实际输出Op与理想输出Yp的差；,(2)根据这个误差，按极小化误差方式调整权矩阵；,精度要求控制,1、网络关于第p个样本的误差测度为：,Ep=(ypj-opj)2/2,2、网络整个样本集的误差测度为：,E=Ep,误差传播分析-输出层权的调整,ANp是输出层第q个神经元，wpq是其前导层第p神经元到ANp的联结权。,误差传播分析-隐藏层权调整的困难,基本的BP算法,1、for h=1 to M do,4.1 E=0；,1.1 初始化W(h),4.2 对S中的每一个样本(Xp,Yp)；,4.2.1 计算相应的实际输出Op,4.2.2 计算出Ep,4.2.3 计算出E=E+Ep,4.2.4 根据公式调整W(M),4.2.5 h=M-1,4.2.6 while h0 do,4.2.6.1 根据公式调整W(h),4.2.6.2 h=h-1,4.3 E=E/2.0,