神经网络模型理论.ppt
吴凡 蔡佳佳,1,2006-4-15,神经网络模型理论2,吴凡 蔡佳佳,2006-4-15,吴凡 蔡佳佳,2,神经网络模型分类,2006-4-15,吴凡 蔡佳佳,3,自组织神经网络,自组织神经网络是一种无导师学习的神经网络模型，这类模型大都采用了竞争学习机制。它可以对外界的样本空间进行学习或模拟，并对自身网络结构进行调整，一般分为ART模型，SOM模型和CPN模型。ART(Adaptive Resonance Theory)自适应共振理论SOM(Self-Organizing Feature Map)自组织特征映射,2006-4-15,吴凡 蔡佳佳,4,自组织神经网络,CPN(Counter Propagation Network)反向传播网络竞争学习是指同一层上的神经元进行竞争，胜利的神经元修改与其相连的连接权值。这种机制可以进行模式分类。在竞争学习中，网络根据输入的样本进行自组织，并将其划分到相应的模式类别中。,2006-4-15,吴凡 蔡佳佳,5,竞争学习,竞争网络的第一层是输入层，接受样本；第二层是竞争层，对输入样本分类。对于某个神经元，连接权的和为1。Wij是输入层神经元到竞争层神经元的权值。,2006-4-15,吴凡 蔡佳佳,6,竞争学习,输入的样本为二值向量（0，1组成的向量），竞争层单元j的状态按右边第一个公式 来计算。其中Xi为输入样本的第i个元素。按照WTA(Winner-Takes-All)机制来调整，即竞争层上具有最大权值的神经元K胜利。输出为右边第2个式子 竞争后的权值按右面第3个式子修改,2006-4-15,吴凡 蔡佳佳,7,竞争学习,其中为学习参数，一般0.010.3，m为输入层上输出值为1的神经元的个数。当Xi为1权值增加，为0则减小。所以当第i个权值增加或减小时，其他权值都有可能变化。但所有改变量的和一定是0。,2006-4-15,吴凡 蔡佳佳,8,KOHONEN网络模型,该网络也称为Kohonen网络，1981年由芬兰Helsink大学Kohonen教授提出。该网络是一个由全互连的神经元阵列形成的无导师自组织自学习网络。该模型的生物理论是认为处于人脑不同区域的神经元分工有所不同。当神经网络在接受外界接受输入模式时，将会分为不同的对应区域。SOM模型的特征就是能在1维或2维单元上形成输入信号的特征拓扑分布。,2006-4-15,吴凡 蔡佳佳,9,KOHONEN网络模型,SOM模型具有抽取输入信号模式特征的能力。它一般只包含一维或二维的阵列，但可以推广到高维。,2006-4-15,吴凡 蔡佳佳,10,KOHONEN网络模型,这种网络最显著的特点是神经元不像在感知器和层次神经网络中按层排列，而是排列在平面格子中。所有输入连接到网格中的每个神经元，反馈约束表现在抑制邻近的神经元，在格子中的每个神经元是输出神经元。各神经元之间连接权之间有一定分布，邻近的神经元相互激励，而较远的神经元则相互抑制，更远的一些又有较弱的激励作用。在受外界刺激最强的地方形成一个BOBBLE区域。,2006-4-15,吴凡 蔡佳佳,11,KOHONEN网络模型,在这个BOBBLE区域中，神经元的权向量会自动调节，一直到与输入向量的某一最大主分量方向相重合为止。下图为激励作用与距离的关系。,2006-4-15,吴凡 蔡佳佳,12,KOHONEN网络模型的组成,KOHONEN网络模型由四个部分组成：1 处理单元阵列：接受事件输入，并且形成对这些信号的判别函数。2 比较选择机制：比较判别函数并选择一个具有最大函数输出值的输出单元。3 局部互连作用：同时激励被选择的处理单元和最邻近的处理单元。4 自适应过程：修正被激励的处理单元参数，以增加其相应于特定输入判别函数的输出值。,2006-4-15,吴凡 蔡佳佳,13,KOHONEN网络模型,设网络输出X，输出神经元与输入神经元连接权Wi，则输出神经元的输出Oi=WiX.网络实际具有响应的输出单元k是通过竞争得到的，竞争方法是取所有输出中的最大值。KOHONEN对这些规则又进行了改进。具体改进这里不讲，可以参考杨建刚的人工神经网络实用教程，浙江大学出版社，2001年6月出版。,2006-4-15,吴凡 蔡佳佳,14,KOHONEN网络解决TSP问题,在文献上见到了这种模型求解TSP问题，这里给出大体算法步骤：1 将所有连接权值初始化为一个小于1的随机数。2 随机选择一个城市，其坐标（X，Y）送入到KOHONEN网络输入端。3 初始化一个随时间增加而下降的增益(t0)和邻域大小NE(t0).,2006-4-15,吴凡 蔡佳佳,15,KOHONEN网络解决TSP问题,4 计算各输出节点j与输入坐标向量的Euclid距离。其中Xi(t)是t时刻节点i的输入，Wij（t）是t时刻节点i和节点j之间的连接权。5 选择输入坐标的响应节点j,满足右边的式子。,2006-4-15,吴凡 蔡佳佳,16,KOHONEN网络解决TSP问题,6 选择j的邻域。7 修改j及其邻域内输出节点的连接权，离散形式的修正公式在右边。8 修改邻域9 修改(t).10 若(t)0,转第4步。,2006-4-15,吴凡 蔡佳佳,17,KOHONEN网络解决TSP问题,11 若城市集不为空，转第一步。12 给定一个起始城市，并标明所对应的输出节点，从该节点开始按顺时针（逆时针）方向转一周，依次找出环上节点所对应的城市，就获得一个TSP问题的解。能利用KOHONEN网络模型解TSP问题的基本思想是：将KOHONEN神经网络的输出层节点分布在一个封闭的圆环上。输入向量分别映射到输出层中对应节点，输出层各节点是顺序排列，于是就确定了城市间的邻近关系。,2006-4-15,吴凡 蔡佳佳,18,KOHONEN网络解决TSP问题,这里的邻域是随着时间推移而减少，初始时可以覆盖整个解空间，然后按一定规律减少，其中参数(t)也是可以按一定法则减少的。,2006-4-15,吴凡 蔡佳佳,19,KOHONEN网络解决TSP问题,在使用上述算法时，可能出现两个以上城市映射到一个输出节点上的情况，这时可以采用裂变法和排除法。裂变法指当一个城市所映射的输出节点已经是另一个城市的映射节点时，把该城市分派到与该输出节点邻近的节点上，且该节点必须空闲。排除法指一个城市映射到一个输出节点时，就将这个输出节点排除在外。在下面的映射计算中，只从剩余输出节点中寻找城市的映射节点。但排除的节点仍然参加权向量的修正。,2006-4-15,吴凡 蔡佳佳,20,KOHONEN网络解决TSP问题,邻域的变化如下图所示,2006-4-15,吴凡 蔡佳佳,21,KOHONEN网络解决TSP问题,两个SOM算法的演示地址：1 TSP的SOM算法演示(澳大利亚悉尼大学计算机系)http:/www.cs.usyd.edu.au/irena/ai01/nn/tsp.html2 TSP的SOM算法演示http:/java/TSP/,2006-4-15,吴凡 蔡佳佳,22,THE END,
