《协同神经网络简介》PPT课件.ppt

协同神经网络简介,第一部分 协同学简介,1 发展背景,客观世界丰富多彩，复杂多变，在这样一个复杂的世界中，若我们用数学的眼光来进行观察，就会发现可线性描述的事物微乎其微，在绝大多数系统中，特别是复杂系统中存在的都是非线性规律。在以往的研究中，往往把非线性因素归结为扰动或噪声加以简单理想化，导致了结果的不精确甚至不正确。,从二十世纪中叶以来，随着非线性动力学，随机微分方程等数学工具的不断发展，普利高津（比利时）、哈肯（德国）等人在对非平衡热力学、激光等领域的研究中逐渐形成了耗散结构理论、协同学等非线性理论，它们从另一个角度即系统整体性的角度来研究复杂现象，使得人们对客观事物的研究方法有了一个突破，被称为本世纪继相对论和量子力学两项科学发现之后的第三次科学革命。,2 研究地位,非线性科学的基本框架 耗散结构理论 协同学（synergetics）突变理论 分形和分维理论 混沌理论,我们的重点：,耗散结构理论协同学,2.1 耗散结构理论,比利时布鲁塞尔学派的领导人普利高津Prigogine 1969年提出。,所谓耗散结构即对应于平衡结构的概念。在平衡结构中达到的有序是一种“死”结构，若是打破平衡，这种有序就变成了无序，普利高津发现，若再加以外界物质流或能量流，使系统远离非平衡线性区，无序就可进化为有序，他将这种非平衡下的有序状态称为“耗散结构”。,达到耗散结构的四个条件:,非平衡 非线性 开放性 存在涨落力,有序 无序 有序平衡 非平衡 非平衡,耗散结构理论揭开了非线性研究的大幕，在此基础上，人们对非平衡有序状态的进一步研究，导致了协同学、突变、分形、混沌等非线性科学的百花齐放。,2.2 协同学,他是谁？,Hermann Haken:,德国斯图加特大学理论物理系教授，协同研究中心主任，协同学的创始人和奠基者。,Haken在1977年正式提出了协同学理论，摆脱了理论物理的传统研究方法，结合平衡相变理论、激光理论、信息理论、控制理论、一般系统论、动力系统理论，建立了一套处理非平衡相变的理论和方法，引入了order parameter（序参量）、slaving principle（支配原理）等概念，成为一门独树一帜、颇受学术界青睐的学科。,Prigogine是在发展热力学理论的过程中阐述耗散结构理论的，所以用耗散结构理论研究其他问题，特别是社会问题、经济问题，就有很大困难。这并不是说社会系统不是耗散结构，而是社会系统过于复杂，远远不是简单的反应扩散方程所能描述的，用从分子级耗散结构研究中形成的数学工具去研究社会级耗散结构将遇到很大的困难。,Haken在耗散结构论的基础上，改从动力系统角度来研究从无序产生有序的规律性，以非线性动力学为数学工具，给出一个完善的数学解决方法，从而可以对自然科学问题给出定量结果，而且对社会科学问题也能给予定性解释。协同学“删繁就简”的支配原理方法是绝热近似的发展，使它可以分析比Prigogine提出耗散结构论时更复杂的系统，如细胞、机体和社会。,钱学森曰：,哈肯严格证明了有序化这个过去好象很神秘的现象，它的出现完全是有理论根据的，而且必然出现，哈肯说，激光也是从无序到有序的转变。他说的这样精确，激光一定要有足够多的分子共同参加才能出现，少一个不出现，够了这个数非出现不可。科学的理论说到这样一个清楚的地步，真是科学。我们掌握了这些道理，高兴的很。（系统思想、系统科学和系统论）,3 主要研究内容,基本概念数学模型,3.1 基本概念,一二三四,一个定义：,“协同学是一门横断学科，它研究系统中子系统之间是怎样合作产生宏观的空间结构、时间结构或功能结构的”,二个要义:,协同和竞争协同形成结构，竞争促进发展两个基本的术语:序参量和支配原理,三个数学工具:,非线性动力学方程 随机过程 随机微分方程,自组织系统四个基本特点：,开放性非线性存在涨落力随机性,3.2 协同学数学模型,系统方程式：,其中，N是函数向量，它依赖于式左端出现在同一个或是不同空间上各点的状态变量q.是控制参数。函数F(t)表示来自内部或来自外部的各种涨落力。在许多情况下，涨落力是可以被忽略；而在某些情况下，它们又起着决定作用。,当一个系统仅被外部控制力微弱地驱动时，会有一个独立于时间的状态，在均质系统情况下，它甚至是空间独立的，即存在:,当控制参数改变到，系统的状态也会发生质变：,对系统方程进行非线性失稳分析后，可以将状态向量分为稳定模和非稳定模，我们称非稳定模为序参量,根据协同学的支配原理，系统演化的结构，也即系统的有序化，只取决于非稳定模。因而，可以只用非稳定模的序参量来进行讨论。,协同学的建模主要是建立随机微分方程，运用支配原理，将快变量消去，以获得序参量的封闭方程。即，把一个高维的非线性问题归结为一组维数很低的非线性方程（即序参量方程）来描述，序参量方程控制着系统在临界点附近的动力学行为。,引入势函数V:,势函数可以看成一个有山有谷的地形图，每个谷地表示一个稳定的不动点，每个山峰顶部表示一个不稳定不动点，由于稳定不动点看起来能够吸引“粒子”，可称之为吸引子，这些点上的粒子都能被同一个吸引谷底所吸引，山背上的最小高度点称为鞍点。,势函数表征了模式演化的过程，所有的吸引子可看成是记忆状态，而稳定不动点中的最小点是真正的记忆状态，其它点则是记忆伪状态，伪状态中的粒子最终被真正状态所吸引，伪状态消失，即系统最终受非稳定模的支配。,协同学的基本原理：,当一个系统受外界控制参数的影响，它可能被驾驭到一个不稳定状态，在这个状态下，若干个模趋向生长，与此相反，其他全部的模则逐渐衰减，由于这些生长模确定了整个系统的动力学特性和模结构，所以生长模的幅值称为序参量。在不稳定点下面，会变得存在若干个可达的稳定状态，但其中仅有一个稳定状态能被选择（这时就产生对称破缺），而实际的选择完全依赖于最初引发的状态，例如依赖于当时的涨落。所以，一旦序参量被确定下来，模式也就被选定。,第二部分 协同神经网络,“模式识别就是模式形成的过程”,协同时代的爱情故事,-相识经过多年的演化她找到了他的伴随向量-相恋她把他看成自己的序参量并在竞争中成功侧抑制了其他模式-相爱偶尔她也乏味而寻找道具但伴随向量本身还是具有邪教的回归力-相守她困守在输出层的牢笼却不知自己也成了伴随矢的道具,这个学习的过程有许多秘密最重的权值还是物质和生物的利益她和伴随矢几乎在正交域他们最终不可能有大于0.1的内积他也许并不在乎她的离去因为他已使她最美好的时光付给自己管它什么X-Y的轨迹曾嫁给我就证明了我的胜利这就是所谓的神圣的“学习过程”！,SNN的基本概念,序参量伴随向量学习侧抑制,SNN原理图,网络学习,实质上是求伴随向量过程 伴随向量满足：,序参量,根据正交关系得到：,网络竞争,竞争方程为：,系统终态,只有一个序参量获胜，即只识别 出一个模式 初始支撑最大的序参量获胜,原型模式,伴随模式,待识别模式,序参量演化曲线,GAO Jun.Parameters Optimization of Synergetic Recognition Approach.Chinese Journal of Electronics,14(2):192-197,2005,注意参数,国内外研究现状,国外：斯图加特大学，加州大学，日本广岛大学等等国内：上海交大，合肥工大,我们的工作,深入研究了协同识别的理论问题；研究了协同识别的关键技术，并提出了相应的方法；开展了协同识别在生物特征识别中的应用基础研究,协同识别理论及其应用基础研究成果（04198）,深入研究了协同识别的理论问题，用协同学方法研究联想记忆，拓展了神经网络的统计力学方法；提出了改进的协同联想记忆网络模型；在系统的序参量层引入竞争机制，突破了传统的动力学构造方法，增强了系统的联想能力；在改进网络动力学性能的基础上，从网络势函数入手，分析了网络记忆容量与容错性的关系，明确指出容错性在解决识别问题中的物理意义以及重要性。,从协同学习算法、预处理与特征提取方法、序参量意义及其有效重构和识别参数优化及不平衡注意参数这四个方面研究了协同识别的关键技术，并提出了相应的方法。开展了协同识别在生物特征识别中的应用基础研究，提出了协同指纹识别方法，申报了发明专利并初审通过、提出了基于全局特征的协同人脸识别方法，并设计了协同联想记忆的光电形状识别系统。本项目的研究成果可应用于计算机视觉、智能控制、基于内容的检索以及各种模式识别场合。,科研项目,教育部优秀青年教师资助计划项目：“协同联想记忆的若干关键问题研究”，2001.012002.12；安徽省自然科学基金项目：“基于协同联想记忆的生物特征识别研究”，2002.012003.12；国家自然科学基金项目：“协同视觉选择性注意机制研究”，2006.012006.12；中国科学院“百人计划”，2003.102006.12教育部“新世纪优秀人才支持计划”，2005.012007.12安徽省优秀青年科技基金，2004.012006.12；安徽省高等学校科技创新团队，2005.012007.12,“智能信息处理”具有很大的发展空间！大有可为！欢迎报考“智能信息处理”研究方向！,希望与要求,参文引用 高隽 编著.人工神经网络原理及仿真实例，北京：机械工业出版社，2003 高隽 编著.智能信息处理方法导论，北京：机械工业出版社，2004 发表的论文交流与合作,感谢大家！,