第10章SOFM网络分析解析ppt课件.ppt

《第10章SOFM网络分析解析ppt课件.ppt》由会员分享，可在线阅读，更多相关《第10章SOFM网络分析解析ppt课件.ppt（39页珍藏版）》请在三一办公上搜索。

1、2006-12-27,北京科技大学 自动化系 付冬梅,1,第九章 SOFM神经网络,北京科技大学 信息工程学院付冬梅 62334967,2006-12-27,北京科技大学 自动化系 付冬梅,2,自组织竞争神经网络类型自适应共振理论(Adaptive Resonance Theory，ART)网络自组织特征映射(self-Organizing Map，SOM)网络对传(Counter Propagation，CP)网络协同神经网络(Synergetic Neural NetworkSNN),第九章 SOFM神经网络,2006-12-27,北京科技大学 自动化系 付冬梅,3,第九章 SOFM神经网

2、络,由芬兰学者Teuvo Kohonen于1981年提出。基本上为输入层和映射层的双层结构,映射层的神经元互相连接，每个输出神经元连接至所有输入神经元 。,Im Teuvo Kohonen,2006-12-27,北京科技大学 自动化系 付冬梅,4,神经网络系统中的一个主要特点是它具有学习功能。通过学习它可以提取一组数据中的重要特征或找出其内在规律和本质属性（如分布特征，或按某种特征聚类），不断调整本身的学习过程，通常把网络的这种功能称为自学习或自组织功能。这种无教师监督，能自动的向环境学习，并根据学习所得到的重要特征来记忆知识的网络统称为自组织神经网络。 自组织特征映射（SOFM, Self-

3、Organizing Feature Map）是芬兰学者Kohonen提出的一种神经网络模型，它模拟了哺乳动物大脑皮质神经的侧抑制、自组织等特性，1984年Kohonen将芬兰语音精确地组织为因素图，1986年又将运动指令组织成运动控制图，由于这些成功应用使SOFM引起世人的高度重视，形成一类很有特色的无师训练神经网络模型。,第九章 SOFM神经网络,2006-12-27,北京科技大学 自动化系 付冬梅,5,SOFM网络的思想来源 SOFM网络的结构模型 SOFM神经元的基本功能函数 SOFM的基本学习算法 仿真实例 几点注意事项,第九章 SOFM神经网络,2006-12-27,北京科技大学

4、自动化系 付冬梅,6,第九章 SOFM神经网络,9.1 SOFM网络的思想来源,尽管目前人们对脑细胞如何组织来协调处理复杂信息的过程和机理还不十分清楚，但已有以下几点共识：,人脑的自组织性,(1)原始信息如一句话、一个图形是多维信号，图形可看成一个二维点阵加上三原色颜色等分量。脑皮层尽管有许多沟回，但本质上是一个二维平面的拓扑变形，脑皮层的每个细胞可视作二维平面上一个点。多维信号传递到脑皮层的过程可视作高维空间信号到二维空问信号的降维映射，降维过程去掉了原始信号的次要特征,保留了其主要特征。,2006-12-27,北京科技大学 自动化系 付冬梅,7,第九章 SOFM神经网络,(2)信号空间 中

5、具有相近特征的信号被映射到脑皮层中相近区域时，大致保留了信号在 中的概率分布特征及拓扑结构特征，即大脑有自动归类能力，将信号物以类聚。(3) 以响应最强的一个神经元为中心，形成一个区域，大致来说，中心强度大，离中心越远越弱。(4)神经细胞之间有侧抑制，存在竞争。这种竞争是通过反馈实现的，对自己给予最大正反馈，对邻居给予一定正反馈，对远处的细胞则给予负反馈即抑制。,2006-12-27,北京科技大学 自动化系 付冬梅,8,图9.1是反馈强度的示意图，平面上细胞按离中心神经元j的距离分成三个区域：近距离的侧激励区；稍远一些有一个抑制作用的环形区域；环外是一个弱激励区，在初步分析时可忽略。图9.2用

6、黑点大小表示侧激励区各神经细胞兴奋的强弱。,第九章 SOFM神经网络,图9.1 侧抑制作用示意圈 图9.2 气泡示意图,2006-12-27,北京科技大学 自动化系 付冬梅,9,第九章 SOFM神经网络,矢量量化是20世纪80年代提出的一种数据压缩方法，广泛用于语音及图像数据的传输，其基本思想是将输入空间划分成多个不相交的超多面体，每个超多面体可称为一个区域，每个区域中选一个代表点，称为码本向量，这样凡同一区域的点均用码本向量来表示，数据可大大压缩。如何根据信号的特点来划分区域，如何由代表点重构信号(语音、图象)而不致与原信号失真等问题，本课堂不计划详述，感兴趣的同学可以参考有关文献。,人脑的

7、矢量量化,2006-12-27,北京科技大学 自动化系 付冬梅,10,第九章 SOFM神经网络,9.2 SOFM网络的结构模型,最初的自组织特征映射是一个单层网络(见图9.3)。各神经元处在一个平面上，一般用矩形或六边形等排列方式。输入端处于平面之外的下侧，每个输入端口与所有神经元均有连接,称为前向权,它们可以迭代调整。在神经元平面上侧，实际上每个神经元还有一个输出端,不再画出,平面上各单元采用全连接，称为侧向权，以构成抑制引起竞争。为了图形的清晰,图3未画出侧向权。侧向抑制机制是通过邻域和学习因子实现的，具体表现见后面的学习算法。,2006-12-27,北京科技大学 自动化系 付冬梅,11,

8、SOFM神经网络结构,第九章 SOFM神经网络,9.2 SOFM网络的结构模型,2006-12-27,北京科技大学 自动化系 付冬梅,12,第九章 SOFM神经网络,图9.3 最初的SOFM网络结构示意图,2006-12-27,北京科技大学 自动化系 付冬梅,13,第九章 SOFM神经网络,9.3 SOFM神经元的基本功能函数,记 为j个输入端指向第i神经元的权，令,神经元i的输出可以采用两种方式: 1)内积形式,2)欧氏距离形式,（9.1）,（9.2）,2006-12-27,北京科技大学 自动化系 付冬梅,14,第九章 SOFM神经网络,当所有的权与输入向量均归一化处理 ， 后，,以上两种表

9、示等价。简单证明如下：,所以（9.2）的极小对应（9.1）的极大。不过归一化处理后。所有权向量都处在单位球面上，损失了一个维数。当权向量维数高的时候，这种损失对结果影响不会太大，如若维数低，则影响不能忽略，最好用不要归一化处理，直接用（9.2）式。,（9.3）,2006-12-27,北京科技大学 自动化系 付冬梅,15,第九章 SOFM神经网络,9.4 SOFM的基本学习算法,SOFM网络算法的主要生物学依据来源于大脑的侧向交互原理，即所谓的墨西哥草帽效应：相邻近的神经元之间的局部交互的方式是侧向交互，它遵从下列有关规则： 1)以发出信号的神经元为圆心，对该神经元近邻的神经元的交互作用表现为兴

10、奋性侧反馈；2)以发出信号的神经元为圆心，对该神经元远邻的神经元的交互作用表现为抑制性侧反馈。 生物学上的近邻是指从发出信号的神经元为圆心半径约为50500m左右的神经元；远邻是指半径为200m2mm左右的神经元。比远邻更远的神经元则表现的是弱激励作用。,2006-12-27,北京科技大学 自动化系 付冬梅,16,第九章 SOFM神经网络,这种局部交互方式如图9.4所示。由于这种交互作用的曲线类似于墨西哥人带的帽子，所以也称这种交互方式为“墨西哥帽”。,图9.4 墨西哥帽示意图,2006-12-27,北京科技大学 自动化系 付冬梅,17,第九章 SOFM神经网络,无教师学习,学习是无师的，其目

11、的是调整前向权，但调整过程也体现了侧抑制作用。学习算法步骤如下：,Step1 权值初始化，将每个 赋以一个小的随机值 。,Step2 输入训练样本矢量 ，令t=0。,Step3 用公式(9.2)计算 与所有前向权量矢量之间的距离,Step4 选择获胜单元c，使,2006-12-27,北京科技大学 自动化系 付冬梅,18,第九章 SOFM神经网络,2006-12-27,北京科技大学 自动化系 付冬梅,19,第九章 SOFM神经网络,关于学习率函数 的选择。原则上可选一个单调下降函数，至于是线性下降还是负指数下降没有硬性规定，只有一些经验法则。如采用线性下降函数，根据Konhonen本人的经验，前

12、10000步下降要快。后10000步下降要慢。,关于领域 的形状及收缩规律，也只有经验法则。形状一般取矩形、六边形或圆形。为简单起见半径 的缩小可采用线性下降函数，但注意不要下降到0。如果 1 ，则退化为独活型竞争。,2006-12-27,北京科技大学 自动化系 付冬梅,20,第九章 SOFM神经网络,图9.5是两种形状领域的逐步缩小示意图。,图9.5 领域逐步缩小示意图,2006-12-27,北京科技大学 自动化系 付冬梅,21,第九章 SOFM神经网络,关于学习率 和领域 大小的一种统一考虑如下：取,式中 是常数， 是t的单减函数，常数 ， 是第i个神经元在平面上的坐标， 是获胜单元c在平

13、面上的坐标。这种处理方法实际上是以全部神经元位领域，只不过离c远的地方学习率很小可以忽略罢了。,2006-12-27,北京科技大学 自动化系 付冬梅,22,第九章 SOFM神经网络,9.5 MATLAB中SOFM网络的重要函数和基本功能,2006-12-27,北京科技大学 自动化系 付冬梅,23,newsom()功能 创建一个自组织特征映射网络函数格式 net = newsom(PR，D1，D2，.，TFCN，DFCN，OLR，OSTEPS，TLR，TND)说明 net为生成的新BP神经网络；PR为网络输入矢量取值范围的矩阵Pmin Pmax；D1，D2，.为神经元在多维空间中排列时各维的个数

14、；TFCN为拓扑函数，缺省值为hextop；DFCN为距离函数，缺省值为linkdist；OLR为排列阶段学习速率，缺省值为0.9；OSTEPS为排列阶段学习次数，缺省值为1000；TLR为调整阶段学习速率，缺省值为0.02，TND为调整阶段领域半径，缺省值为1。,第九章 SOFM神经网络,9.5 MATLAB中SOFM网络的重要函数和基本功能,2006-12-27,北京科技大学 自动化系 付冬梅,24,lotsom()功能 绘制自组织特征映射网络图的权值向量函数格式 (1) plotsom(pos) (2) plotsom(W，D，ND)说明 式中pos是网络中各神经元在物理空间分布的位置坐

15、标矩阵；函数返回神经元物理分布的拓扑图，图中每两个间距小于1的神经元以直线连接；W为神经元权值矩阵；D为根据神经元位置计算出的间接矩阵；ND为领域半径，缺省值为1；函数返回神经元权值的分布图，图中每两个间距小于ND的神经元以直线连接。,第九章 SOFM神经网络,9.5 MATLAB中SOFM网络的重要函数和基本功能,2006-12-27,北京科技大学 自动化系 付冬梅,25,yec2ind()功能 将单值向量组变换成下标向量格式 ind = vec2ind(vec)说明 式中，vec为m行n列的向量矩阵x，x中的每个列向量i，除包含一个1外，其余元素均为0， ind为n个元素值为1所在的行下标

16、值构成的一个行向量。,第九章 SOFM神经网络,9.5 MATLAB中SOFM网络的重要函数和基本功能,2006-12-27,北京科技大学 自动化系 付冬梅,26,compet() 功能 竞争传输函数。 格式 A = compet(N,FP) 说明 compet is a neural transfer function. Transfer functions calculate a layers output from its net input. compet(N,FP) takes N and optional function parameters, N：S x Q matrix of

17、 net input (column) vectors FP：Struct of function parameters (ignored),第九章 SOFM神经网络,9.5 MATLAB中SOFM网络的重要函数和基本功能,2006-12-27,北京科技大学 自动化系 付冬梅,27,第九章 SOFM神经网络,9.5 MATLAB中SOFM网络的重要函数和基本功能,midpoint() 功能 中点权值初始化函数。 格式 W = midpoint(S,PR) 说明 midpoint is a weight initialization function that sets weight (row)

18、 vectors to the center of the input ranges.midpoint(S,PR) takes two arguments, S： Number of rows (neurons) PR：R x Q matrix of input value ranges = Pmin Pmaxand returns an S x R matrix with rows set to (Pmin+Pmax)/2.,2006-12-27,北京科技大学 自动化系 付冬梅,28,第九章 SOFM神经网络,9.5 MATLAB中SOFM网络的重要函数和基本功能,learnsom() 功能

19、 自组织特征映射权值学习规则函数。 格式 dW,LS = learnsom(W,P,Z,N,A,T,E,gW, gA,D,LP,LS) 说明 W：S x R weight matrix (or S x 1 bias vector) P：R x Q input vectors (or ones(1,Q) Z：S x Q weighted input vectors N：S x Q net input vectors A：S x Q output vectors T：S x Q layer target vectors E：S x Q layer error vectors gW：S x R we

20、ight gradient with respect to performance gA：S x Q output gradient with respect to performance D：S x S neuron distances LP：Learning parameters, none, LP = LS：Learning state, initially should be = dW：S x R weight (or bias) change matrix LS：New learning state,2006-12-27,北京科技大学 自动化系 付冬梅,29,例2-5 人口分类是人口

21、统计中的一个重要指标，现有1999共10个地区的人口出生比例情况如下：出生男性百分比分别为： 0.5512 0.5123 0.5087 0.5001 0.6012 0.5298 0.5000 0.4965 0.5103 0.5003;出生女性百分比分别为： 0.4488 0.4877 0.4913 0.4999 0.3988 0.4702 0.5000 0.5035 0.4897 0.4997,第九章 SOFM神经网络,9.6 SOFM网络仿真实例,2006-12-27,北京科技大学 自动化系 付冬梅,30,例1 源程序,第九章 SOFM神经网络,9.6 SOFM网络仿真实例,2006-12-

22、27,北京科技大学 自动化系 付冬梅,31,第九章 SOFM神经网络,9.6 SOFM网络仿真实例,2006-12-27,北京科技大学 自动化系 付冬梅,32,类别1,类别2,类别5,类别4,类别3,测试数据属于类别5,第九章 SOFM神经网络,9.6 SOFM网络仿真实例,2006-12-27,北京科技大学 自动化系 付冬梅,33,第九章 SOFM神经网络,用 个神经元的SOFM网络来学习单位正方形内均匀分布的训练数据。训练样本随机产生（见图9.6a），测试样本取单位正方形内均匀点阵（见图9.6b），用方法一测试结果见图9.6c。当输入测试向量（1，1）时，神经元11最活跃，而当输入测试向量

23、（8，8）时，神经元（8，8）最活跃。显然（c）图与（b）图的概率分布及拓补结构特征完全一致。,9.6 SOFM网络仿真实例,2006-12-27,北京科技大学 自动化系 付冬梅,34,第九章 SOFM神经网络,图9.7是同样数据的方法二测试结果， =100 ， =500， =2000， =10000。可以看出，初始时随机分布的权到迭代改进100步以后显现出初步规律，2000次后规律更加明显，约10000次后权向量的概率分布及拓补结构就与测试数据基本一致了。,图9.7 方法2显示结果,2006-12-27,北京科技大学 自动化系 付冬梅,35,第九章 SOFM神经网络,9.6 几点注意事项,(

24、1)为使映射精确，迭代次数 要适当地大，据经验至少要等于神经元个数的500倍，但与 的维数无关。,(2)前1000步， 可以从一个接近1的数开始下降，下降率适当大点，这个阶段可称之为有序化。在1000步以后减小下降率，从 逐步下降为0，这个阶段可称为精调。,(3)邻域 太小则映射可能不是全局有序化的，会出现马赛克效应，使本来应该映射到同一区域的却分别映射到几个不相邻的小区域。前1000步 可线性缩小，精调时可保持在适当小的数值上不变。,2006-12-27,北京科技大学 自动化系 付冬梅,36,第九章 SOFM神经网络,关于SOFM，kohonen本人有几点评论，叙述如下： (1) 目前的SO

25、FM只是极端简化地模拟了人脑的自组织映射功能，如要用作大型的数据库势必大大增加网络神经元的数目，这不是一种好办法。伟人与一般人的大脑在尺度上并没有什么区别，似乎是通过对信号子集进行编码来实现，这种抽象表示的分层结构越发达运算和联想能力越强。 (2) SOFM网与其它神经网络的主要区别在于，其他网络重点强调并行处理，神经元的自组织性放在第二位，而SOFM网在并行处理的同时特别强调了自组织性。 (3) SOFM的主要发展方向有两个：实行真正的分层结构，即若干层SOFM级联起来；将一个大的平面划分成不同的区域，每个区域用一种SOFM，每个区域对应不同的信号源，好像人类脑皮层不同区域分管视、听、嗅、味、触各种不同感觉一样。同时这些区域的边界不需要很清晰。,2006-12-27,北京科技大学 自动化系 付冬梅,37,第九章 SOFM神经网络,Mikkulainen构建的Dislex模型,2006-12-27,北京科技大学 自动化系 付冬梅,38,第九章 SOFM神经网络,Sardnet模型示意图,2006-12-27,北京科技大学 自动化系 付冬梅,39,本章结束，谢谢大家！,