神经计算基础(3.1人工神经网络基础).ppt

3 神经计算基础3.1 人工神经网络基础,School of Information Science&Technology Dalian Maritime University,目录,3神经计算基础3.1人工神经网络基础人工神经网络的提出人工神经网络的特点历史回顾生物神经网络人工神经元人工神经网络的拓扑特性存储与映射人工神经网络的训练,3.1 人工神经网络基础,大体上讲，人类对人工智能的研究可以分成两种方式，这两种方式对应着两种不同的技术：传统的人工智能技术，从心里的角度对智能模拟；基于人工神经网络的技术，从生理的角度对智能模拟；它们分别适应于认识和处理事物（务）的不同方面。人们除了分别从不同的角度对这两种技术进行研究外，也已开始探讨如何能将这两种技术更好的结合起来，并且已取得了良好的效果。人们期待着，通过大家的不懈努力，在不久的将来，能在这两种技术的研究上以及其有机结合方面有所突破，也希望在方法上有一个新的突破，真正打开智能的大门。,3.1 人工神经网络基础,人工神经网络是根据人们对生物神经网络的研究成果设计出来的，它由一系列的神经元及其相应的联接构成，具有良好的数学描述，不仅可以用适当的电子线路来实现，更可以方便的用计算机程序加以模拟。首先简要介绍智能和人工智能，然后简要介绍人工神经网络的发展过程及其基本特点。然后将介绍人工神经网络的基本知识，主要包括：基本的生物神经网络模型，人工神经元模型及其典型的激活函数；人工神经网络的基本拓扑特性，存储类型（CAM-LTM，AM-STM）及映象，有导师（Supervised）训练与无导师（Unsupervised）训练。,人工神经网络的提出,人工神经网络（artificial neural networks，ANN），是对人类大脑系统的一阶特性的一种描述。简单而言，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。,智能,智能就是智慧和能力，是个体有目的的行为，合理的思维，以及有效的适应环境的综合性能力个体认识客观事务和运用知识解决问题的能力。众所周知，人类是具有智能的。因为人类能记忆事物，能有目的的进行一些活动，能通过学习获得知识，并能在后续的学习中不断的丰富知识，有一定的能力运用这些知识去探索未知的东西，去发现、去创新。,人类个体的智能是一种综合能力,人类智能最基本的能力感知与认识客观事务、客观世界和自我(生存能力，感知是智能的基础)通过学习取得经验与积累知识(能够发展的最基本能力)理解知识，运用知识和经验分析、解决问题(高级智能，推动发展的基本能力)联想、推理、判断、决策(高级智能，是主动的基础)运用语言进行抽象、概括(语言能力)5种基本能力新的综合表现形式发现、发明、创造、创新(高级智能)实时、迅速、合理地应付复杂环境(实时反应能力)预测、洞察事务发展、变化(预测能力),人工智能,人工智能（artificial intelligence，AI）最初是在1956年引入的。研究怎样让计算机模仿人脑从事推理、设计、思考、学习等思维活动，以解决和处理较复杂的问题。简单来说，人工智能就是研究如何让计算机模仿人脑进行工作。,研究人工智能的两个目的,（1）增加人类探索世界、推动社会前进的能力通过制造和使用工具来加强和延伸自己的生存能力使计算机模拟人感知、思维和行为的规律，进而设计出具有类似人类的某些智能的计算机系统，从而达到延伸和扩展人类智能和能力的目的。（2）进一步认识自己研究人工智能，可以从已知的一些结论（不排除一些猜想）人手，从人的大脑以外来探讨它的活动机理。有人将这种做法叫做用物化了的智能去考察和研究人脑智能的物质过程和规律。,人工智能,由于人类对自己的大脑确实知之甚少，所以，自从“人工智能”一词诞生以来，人们从不同的出发点、方法学以及不同的应用领域出发进行了大量的研究。正是由于存在这些不同，导致了对人工智能的几种不同的认识，也就形成了不同的学术流派，较有代表性的包括：符号主义（或叫做符号/逻辑主义）学派，联接主义（或者叫做并行分布处理）学派，进化主义（或者叫做行动/响应）学派。,物理符号系统,物理符号系统的定义：因为信息需要在一定的载体上以某种规定的形式表达出来，习惯上，人们用一系列的基本符号以及组合这些符号的一些规则去表达一些信息和行为，这些基本符号以及组合这些符号的规则就是所谓的物理符号系统。例如，“2”在十进制中用阿拉伯数字表示成“2”，而二进制中又被表示成“10”，在计算机内部，它又被用高、低电平表示出来。计算机世界就是数据处理世界，而数据是从现实世界中抽象出来的信息世界的形式化描述的结果。信息是现实在人脑中的反映，而数据则是信息的一种表现形式,图3.1 物理符号系统用于对物理系统的描述,联接主义观点,智能的本质是联接机制。神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统。虽然按此说法来刻划神经网络，未能将其所有的特性完全描述出来但它却从以下四个方面出发，力图最大限度体现人脑的一些基本特征，同时使得人工神经网络具有良好的可实现性。,神经网络四个基本特征(1)物理结构,现代神经科学的研究结果认为，大脑皮层是一个广泛联接的巨型复杂系统，它包含有大约1011个神经元，这些神经元通过1015个联接构成一个大规模的神经网络系统。人工神经网也将是由与生物神经元类似的人工神经元通过广泛的联接构成的。人工神经元将模拟生物神经元的功能。它们不仅具有一定的局部处理能力，同时还可以接受来自系统中其他神经元的信号，并可以将自己的“状态”按照一定的形式和方式传送给其他的神经元。,神经网络四个基本特征(2)计算模拟,人脑中的神经元，既有局部的计算和存储功能，又通过联接构成一个统一的系统。人脑的计算就是建立在这个系统大规模并行模拟处理的基础上的。各个神经元可以接受系统中其他神经元通过联接传送过来的信号，通过局部的处理，产生一个结果，再通过联接将此结果发送出去。神经元接受和传送的信号被认为是模拟信号。所有这些，对大脑中的各个神经元来说，都是同时进行的。因此，该系统是一个大规模并行模拟处理系统。由于人工神经网络中存在大量的有局部处理能力的人工神经元，所以，该系统也将实现信息的大规模并行处理，以提高其性能。,神经网络四个基本特征(3)存储与操作,大脑对信息的记忆是通过改变突触（Synapse）的联接强度来实现的。除神经元的状态所表现出的信息外，其他信息以神经元之间联接强度的形式分布存放。存储区与操作区合二为一。这里的处理是按大规模、连续、模拟方式进行的。信息的大规模分布存放为信息的充分并行处理提供了良好的基础。同时，这些特性又使系统具有了较强的容错能力和联想能力，也给概括、类比、推广提供了强有力的支持。,神经网络四个基本特征(4)训练,生活实践的经验表明，人的大脑的功能除了受到先天因素的限制外，还被后天的训练所确定。先天因素和后天因素中，后天的训练更为重要。一个人的学习经历、工作经历都是他的宝贵财富。这些表明，人脑具有很强的自组织和自适应性。同可以见到的表象不同，从生理的角度来讲，人的许多智力活动并不是按逻辑方式进行的，而是通过训练形成的。所以，人工神经网络将根据自己的结构特性，使用不同的训练、学习过程，自动从“实践”中获取相关的知识，并将其存放在系统内。这里的“实践”就是训练样本。,两种模型的比较,物理符号系统是从人的心理学的特性出发，去模拟人类问题求解的心理过程。所以它擅长于模拟人的逻辑思维，可以将它看作是思维的高级形式。而在许多系统中，一些形象思维的处理需要用逻辑思维来实现，这就导致了系统对图像处理类问题的处理效率不高。作为联接主义观点的人工神经网络，它是从仿生学的观点出发，从生理模拟的角度去研究人的思维与智能，擅长于对人的形象思维的模拟，这是人类思维的低级形式。从目前的研究结果看，因为这种系统的非精确性的特点，使得它处理以逻辑思维为主进行求解的问题较为困难。图3.2给出了两种系统与人类思维形式的对应比较。,两种模型的比较,表3.1 物理符号系统和人工神经网络系统的差别,两种模型的比较,图3.2 两种模型的模拟对照,两种模型的比较,表3.2 两种人工智能技术的比较,3.1.2 人工神经网络的特点,人工神经网络的三大特点信息的分布表示运算的全局并行和局部操作处理的非线性其构造和处理均是围绕此三点进行的。,1.人工神经网络的概念,人工神经网络是人脑及其活动的一个理论化的数学模型，它由大量的处理单元通过适当的方式互连构成，是一个大规模的非线性自适应系统。1988年，Hecht-Nielsen定义：人工神经网络是一个并行、分布处理结构，它由处理单元及称为联接的无向信号通道互连而成。处理单元(processing element,PE)具有局部内存，可完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要分支成希望个数的多个并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。即，它须仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。,1.人工神经网络的概念,该定义主要强调了四个方面的内容：并行、分布处理结构；一个处理单元的输出被任意分支，且大小不变；输出信号可以是任意的数学模型；处理单元进行完全的局部操作。这里说处理单元就是人工神经元（artificial neuron，AN）。,PDP神经网络模型,按照Rumellhart、McClelland、Hinton等人提出的PDP（Parallel Distributed Processing）理论框架（简称为PDP模型）人工神经网络由八个方面的要素组成：1）一组处理单元（PE或AN）；2）处理单元的激活状态（）；3）每个处理单元的输出函数（）；4）处理单元之间的联接模式；,PDP神经网络模型,5）传递规则（）；6）把处理单元的输入及当前状态结合起来产生激活值的激活规则（）；7）通过经验修改联接强度的学习规则；8）系统运行的环境（样本集合）。,PDP神经网络模型,图3.3 PDP模型下的人工神经元网络模型,人工神经网络,人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。人工神经网络的别名：并行分布处理系统（Parallel Distributed Processing），人工神经系统（Artificial Neural System）神经网络（Neural Network）自适应系统（Adaptive Systems）自适应网（Adaptive Networks）联接模型（Connectionism）神经计算机（Neurocomputer）等,人工神经网络具有大脑的基本特征,1）神经元及其联接从系统构成的形式上看，由于人工神经网络是受生物神经系统的启发构成的，从神经元本身到联接模式，基本上都是以与生物神经系统相似的方式工作的。这里的人工神经元与生物神经元相对应，可以改变强度的联接则与突触相对应。2）信息的存储与处理从表现特征上来看，人工神经网络也力求模拟生物神经系统的基本运行方式。例如，可以通过相应的学习/训练算法，将蕴含在一个较大数据集中的数据联系抽象出来。就像人们可以不断摸索规律、总结经验一样，可以从先前得到的例子按要求产生出新的实例，在一定程度上实现“举一反三”的功能。,2.学习能力,人工神经网络可以根据所在的环境去改变它的行为，人工神经网络具有良好的学习功能。在学习过程中，人工神经网络不断从所接受的样本集合中提取该集合所蕴含的基本内容，并将其以神经元之间的联接权重的形式存放于系统中。例如，可以构造一个异相联的网络，它在接受样本集合A时，可以抽取集合A中输入数据与输出数据之间的映射关系。如果样本集合变成了B，它同样可以抽取集合B中输入数据与输出数据之间的映射关系。目前，对应不同的人工神经网络模型，有不同的学习/训练算法，有时，同种结构的网络拥有不同的算法，以适应不同的应用要求。对一个网络模型来说，其学习/训练算法是非常重要的（提高训练速度和性能）。,3.普化能力,由于其运算的不精确性，人工神经网络在被训练后，对输入的微小变化是不反应的。与事物的两面性相对应，虽然在要求高精度计算时，这种不精确性是一个缺陷，但是，有些场合又可以利用这一点获取系统的良好性能。例如，可以使这种不精确性表现成“去噪音、容残缺”的能力，而这对模式识别有时恰好是非常重要的。还可以利用这种不精确性，比较自然的实现模式的自动分类。尤其值得注意的是，人工神经网络的这种特性不是通过隐含在专门设计的计算机程序中的人类智能来实现的，而是其自身结构所固有的特性所给定的。,4.信息的分布存放,信息的分布存放给人工神经网络提供了另一种特殊的功能。由于一个信息被分布存放在几乎整个网络中，所以，当其中的某一个点或者某几个点被破坏时，信息仍然可以被存取。能够保证系统在受到一定的损伤时还可以正常工作。但是，这并不是说，可以任意对完成学习的网络进行修改。也正是由于信息的分布存放，对一类网来说，当它完成学习后，如果再让它学习新的东西，这时就会破坏原来已学会的东西，BP网就是这类网络。,5.适用性问题,人工神经网络并不是可以解决所有问题的，它应该有自己的适用面。人脑既能进行“形象思维”又能进行“逻辑思维”，传统的人工智能技术模拟的是逻辑思维，人工神经网络模拟的是形象思维，而这两者适用的方面是不同的。人工神经网络擅长于处理适用形象思维的问题。主要包括两个方面：对大量的数据进行分类，并且只有较少的几种情况；必须学习一个复杂的非线性映射。这两个方面对传统的人工智能技术来说都是比较困难的。目前，人们主要将其用于:语音、视觉、知识处理、辅助决策等方面。此外，在数据压缩、模式匹配、系统建模、模糊控制、求组合优化问题最佳解的近似解（不是最佳近似解）等方面也有较好的应用。,神经网络的作用,神经网络的作用,3.1.3 历史回顾,人工神经网络的发展是曲折的，从萌芽期到目前，几经兴衰。可以将其发展历史大体上分成如下五个时期:1.萌芽期2.第一高潮期3.反思期4.第二高潮期5.再认识与应用研究期,1.萌芽期,人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，这一时期截止到1949年。1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型。1949年，心理学家D.O.Hebb提出神经元之间突触联系是可变的假说。他给出了人工神经网络的学习律联接两个神经元的突触的强度按如下规则变化：在任意时刻，当这两个神经元处于同一种状态时，表明这两个神经元具有对问题响应的一致性，所以，它们应该互相支持，其间的信号传输应该加强，这是通过加强其间突触的联接强度实现的。反之，在某一时刻，当这两个神经元处于不同的状态时，表明它们对问题的响应是不一致的，因此它们之间的突触的联接强度被减弱。这被称为Hebb学习律。,2.第一高潮期,第一高潮期大体上可以认为是从1950年到1968年，也就是从单级感知器（Perceptron）的构造成功开始，到单级感知器被无情的否定为止。它被人们用于各种问题的求解，甚至在一段时间里，它使人们乐观的认为几乎已经找到了智能的关键。早期的成功，给人们带来了极大的兴奋。不少人认为，只要其他的技术条件成熟，就可以重构人脑，因为重构人脑的问题已转换成建立一个足够大的网络的问题。包括美国政府在内的许多部门都开始大批投入此项研究，希望尽快占领制高点。,3.反思期,M.L.Minsky和S.Papert对单级感知器进行了深入的研究，从理论上证明了当时的单级感知器无法解决许多简单的问题。在这些问题中，甚至包括最基本的“异或”问题。这一成果在Perceptron一书中发表，该书由MIT出版社在1969年出版发行。以该书的出版为标志，人们对人工神经网络的研究进入了反思期。在20世纪70年代和80年代早期，他们的研究结果很难得到发表，而且是散布于各种杂志之中，使得不少有意义的成果即使在发表之后，也难以被同行看到，这导致了反思期的延长。著名的BP算法的研究就是一个例子。在这一段的反思中，人们发现，有一类问题是单级感知器无法解决的，这类问题是线性不可分的。要想突破线性不可分问题，必须采用功能更强的多级网络。,4.第二高潮期,人工神经网络研究的第二次高潮到来的标志是美国加州理工学院生物物理学家J.Hopfield的两篇重要论文分别于1982年和1984年在美国科学院院刊上发表。总结起来，这个期间的代表作有：1982年，J.Hopfield提出循环网络。1984年，J.Hopfield设计研制了称为Hopfield网的电路。1985年，美国加州大学圣地亚哥分校（UCSD）的Hinton等人提出所谓的Boltzmann机。1986年，Rumelhart等研究者重新独立提出多层网络的学习算法BP算法，较好的解决了多层网络的学习问题。我国在这方面的研究要滞后一点，国内首届神经网络大会是1990年12月在北京举行的。,5.再认识与应用研究期,实际上，步人20世纪90年代后，人们发现，关于人工神经网络还有许多待解决的问题，其中包括许多理论问题。人工神经网络的不精确推理，使得它因为结果的精度较低而远远不能满足用户的需要目前，大多数的研究主要集中在以下三个方面：开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。希望在理论上寻找新的突破，建立新的专用/通用模型和算法。进一步对生物神经系统进行研究，不断丰富对人脑的认识。,3.1.4 生物神经网络,图3.4 典型的生物神经元,3.1.4 生物神经网络,科学研究发现，人的大脑中大约含有1011个生物神经元，它们通过 1015个联接联成一个系统。每个神经元具有独立的接受、处理和传递电化学（Electrochemical）信号的能力。这种传递经由构成大脑通信系统的神经通路所完成。枝蔓（Dendrite）从胞体（Soma或Cellbody）伸向其他神经元，这些神经元在被称为突触（Synapse）的联接点接受信号。在突触的接受侧，信号被送入胞体，这些信号在胞体里被综合。其中有的输入信号起刺激（Excite）作用，有的起抑制作用（Inhibit）。当胞体中接受的累加刺激超过一个阈值时，胞体就被激发，此时它沿轴突通过枝蔓向其他神经元发出信号。,生物神经系统的六个基本特征,神经元及其联接；神经元之间的联接强度决定信号传递的强弱；神经元之间的联接强度是可以随训练而改变的；信号可以是起刺激作用的，也可以是起抑制作用的；一个神经元接受的信号的累积效果决定该神经元的状态；每个神经元可以有一个“阈值”。,3.1.5 人工神经元,神经元是构成神经网络的最基本单元（构件）。要想构造一个人工神经网络系统，首要任务是构造人工神经元模型。同时，希望这个模型不仅是简单容易实现的数学模型，而且还应该具有生物神经元的六个基本特性,1.人工神经元的基本构成,根据上述对生物神经元的讨论，希望人工神经元可以模拟生物神经元的一阶特性输入信号的加权和。对于每一个人工神经元来说，它可以接受一组来自系统中其他神经元的输入信号，每个输入对应一个权，所有输入的加权和决定该神经元的激活（Activation）状态。这里，每个权就相当于突触的“联接强度”。,图3.5 不带激活函数的人工神经元,1.人工神经元的基本构成,：,设n个输入分别表示为：它们对应的联接权值依次为：所有的输入构成输入向量X对应的联接权值构成联接权向量W：,用net表示该神经元所获得的输入信号的累积效果，为简便起见，称之为该神经元的网络输入：,2.激活函数,神经元在获得网络输入后，它应该给出适当的输出。按照生物神经元的特性，每个神经元有一个阈值，当该神经元所获得的输入信号的累积效果超过阈值时，它就处于激发态；否则，应该处于抑制态。为了使系统有更宽的适用面，希望人工神经元有一个更一般的变换函数，用来执行对该神经元所获得的网络输入的变换，这就是激活函数，也可以称之为激励函数、活化函数。,图3.7 人工神经元,2.激活函数,激活函数同时也用来将神经元的输出进行放大处理或限制在一个适当的范围内。典型的激活函数有4种：线性函数非线性斜面函数阶跃函数S 型函数,1）线性函数（Linear Function）,线性函数是最基本的激活函数，起到对神经元所获得的网络输入进行适当的线性放大的作用。线性函数非常简单，但是它的线性特征极大的降低了网络性能，甚至使多级网络的功能退化成单级网络的功能。,k为放大系数，C为位移，它们均为常数。,2）非线性斜面函数（Ramp Function）,非线性斜面函数是最简单的非线性函数，实际上它是一种分段线性函数。这种函数在于把函数的值域限制在一个给定的范围,式中，k 为常数。被称为饱和值，为该神经元的最大输出。,3）阈值函数（Threshold Function）,阈值函数又叫阶跃函数，当激活函数仅用来实现判定神经元所获得的网络输入是否超过阈值 时，使用此函数。二值形式，双极形式。,式中，均为非负实数，为阈值,4）S形函数（Squashing Function）,S形函数又叫压缩函数和逻辑斯特函数(Logistic Function)，其应用最为广泛。它的饱和值为a 和 a+b,式中，a，b，d均为常数,4）S形函数（Squashing Function）,最简单的形式为（函数的饱和值为0和1）：,扩充平方函数（函数的饱和值为0和1）：,双曲函数（函数的饱和值为-1和1）：,4）S形函数（Squashing Function）,S形函数之所以被广泛应用，除了其非线性和处处连续可导性外，更重要的是由于该函数对信号有一个较好的增益控制：函数的值域可以由用户根据实际需要给定，当 的值比较小时，有一个较大的增益；当 的值比较大时，有一个较小的增益，这为防止网络进入饱和状态提供了良好的支持。,3.M-P模型,将人工神经元（AN）的基本模型和激活函数合在一起构成人工神经元，这就是著名的McCulloch-Pitts模型，简称为M-P模型，也可以称之为处理单元（PE）。UCSD的PDP小组曾将人工神经元定义得比较复杂，在本书中，为方便起见，均采用这种简化了的定义，同时简记为AN。图3.7所给出的神经元在今后给出的图中均用一个结点表示。,图3.7 人工神经元,3.1.6 人工神经网络的拓扑特性,为了理解方便，用结点代表神经元，用加权有向边代表从神经元到神经元之间的有向联接，相应的权代表该联接的联接强度，用箭头代表信号的传递方向。,1.联接模式,用正号（“”，可省略）表示传送来的信号起刺激作用，用于增加神经元的活跃度；用负号（“”）表示传送来的信号起抑制作用，用于降低神经元的活跃度。网络应该有输入和输出，从而就有了输入层和输出层。层次（又称为“级”）的划分，导致了神经元之间三种不同的互联模式：层（级）内联接循环联接层（级）间联接,神经元之间三种不同的互联模式,1）层内联接 层内联接又叫做区域内（Intra-field）联接或侧联接（Lateral）。它是本层内的神经元到本层内的神经元之间的联接，可用来加强和完成层内神经元之间的竞争：当需要组内加强时，这种联接的联接权取正值；在需要实现组内竞争时，这种联接权取负值。2）循环联接循环联接在这里特指神经元到自身的联接，用于不断加强自身的激活值，使本次的输出与上次的输出相关，是一种特殊的反馈信号。3）层间联接层间（Inter-field）联接指不同层中的神经元之间的联接。这种联接用来实现层间的信号传递。在复杂的网络中，层间的信号传递既可以是向前的（前馈信号），又可以是向后的（反馈信号）。一般前馈信号只被允许在网络中向一个方向传送；反馈信号的传送则可以自由一些，它甚至被允许在网络中循环传送。,2.网络的分层结构,为了更好的组织网络中的神经元，将其分布到各层（级）：按照上面对网络的联接的划分，称侧联接引起的信号传递为横向反馈；层间的向前联接引起的信号传递为层前馈（简称前馈）；层间的向后联接引起的信号传递为层反馈。横向反馈和层反馈统称为反馈。,1）单级网,虽然单个神经元能够完成简单的模式侦测，但是为了完成较复杂的功能，还需要将大量的神经元联成网，有机的联接使它们可以协同完成规定的任务。,（1）简单单级网,上图表面上看是一个两层网，但是由于其中的输入层的神经元不对输入信号做任何处理，它们只起到对输入向量 的扇出作用。因此，在计算网络的层数时人们习惯上并不将它作为一层。,（1）简单单级网,设输入层的第 i 个神经元到输出层的第 j 个神经元的联接的强度为 wij，即 X 的第 i 个分量以权重 wij 输入到输出层的第 j个神经元中，取所有的权构成（输入）权矩阵 W：,输出层的第 j 个神经元的网络输入记为():,（2）单级横向反馈网,在简单单级网的基础上，在其输出层加上侧联接就构成单级横向反馈网。,（2）单级横向反馈网,设输出层的第 i 个神经元到输出层的第 j 个神经元的联接的强度为vij，即 O 的第 i 个分量以权重 vij 输入到输出层的第 j个神经元中，取所有的权构成（输入）侧连接权矩阵V：,（2）单级横向反馈网的稳定性和时间参数,对一个输入，如果网络最终能给出一个不变的输出，即网络的运行逐渐会达到稳定，称该网络是稳定的；否则不稳定的。网络的稳定性问题是困扰有反馈信号网络性能的重要问题。因此，稳定性判定是一个非常重要的问题。由于信号的反馈，使得网络的输出随时间的变化而不断变化，所以时间参数有时候也是一个重要参数。下面假定，在网络的运行过程中有一个主时钟，网络中的神经元的状态在主时钟的控制下同步变化。在这种假定下有：,2）多级网,研究表明，单级网的功能是有限的，适当增加网络的层数是提高网络计算能力的一个途径，这也部分模拟了人脑的某些部位的分级结构特征。从拓扑结构上来看，多级网是由多个单级网联接而成的。,图3.10 多级前馈网(或称非循环多级网络),（1）层次划分,在这种网络中，信号只被允许从较低层流向较高层。这里约定，用层号确定层的高低：层号较小者，层次较低；层号较大者，层次较高。各层的层号按如下方式递归定义：输入层：与单级网络一样，该层只起到输入信号的扇出作用矿所以在计算网络的层数时不被记入。该层负责接收来自网络外部的信息，被记作第0层。第 j 层：第 j-1 层的直接后继层（j 0），它直接接受第 j-1 层的输出。输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。隐藏层：除输入层和输出层以外的其他各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号。,（1）层次划分,输出层的层号为该网络的层数，并称一个输出层号为 n 的网络为 n 层网络或 n 级网络。第 j-1 层到第 j 层的联接矩阵为第 j 层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。后文中，在需要的时候，一般用 W(j)表示第 j 层矩阵。,（2）非线性激活函数,非线性激活函数在多级网络中起着非常重要的作用。实际上，它除了能够根据需要对网络中各神经元的输出进行变换外，还使得多级网络的功能超过单级网络，为解决人工神经网络所面临的线性不可分问题提供了基础。增加网络的层数在于提高网络的计算能力。但是，如果使用线性激活函数，则多级网的功能不会超过单级网的功能。事实上，设有n 层网络，X 是其输入向量，W(1)、W(2)、W(n)是各级联接矩阵，NET1、NET2、NETn 分别是各级的网络输出向量，F1、F2、Fn 为各级神经元的激活函数，现假定它们均是线性的，则：,（2）非线性激活函数,式中，Ki、Ai是常数向量，且这里的KiNETi有特殊的意义，它表示 Ki 与 NETi 的分量对应相乘，结果仍然是同维向量。,令,则,（公式3.16）,（2）非线性激活函数,网络的输出向量为,（2）非线性激活函数,（2）非线性激活函数,式中：,上述式子中，Ki向量之间的运算遵循式3.16的约定。,（2）非线性激活函数,从上述推导可见，这个多级网相当于一个:激活函数为:联接矩阵为:W的简单单级网络。显然，如果网络使用的是非线性激活函数，则不会出现上述问题。因此说，非线性激活函数是多级网络的功能超过单级网络的保证。,3）循环网,图3.11 多级循环网,3）循环网,如果将输出信号反馈到输入端，就可构成一个多层的循环网络，如图3.11所示。其中的反馈联接还可以是其他的形式。实际上，引入反馈的主要目的是解决非循环网络对上一次输出无记忆的问题。在非循环网络中，输出仅仅由当前的输入和权矩阵决定，而和较前的计算无关。在循环网中，它需要将输出送回到输入端，从而使当前的输出受到上次输出的影响，进而又受到前一个输入的影响，如此形成一个迭代。也就是说，在这个迭代过程中，输入的原始信号被逐步“加强”、“修复”。,3）循环网,这种性能，在一定的程度上反映了人的大脑的短期记忆特征看到的东西不是一下子就从脑海里消失的。当然，前面曾提到过，这种反馈信号会引起网络输出的不断变化。如果这种变化逐渐减小，并且最后能消失，一般来说，这种变化就是所希望的变化。当变化最后消失时，称网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。,3.1.7 存储与映射,人工神经网络是用来处理信息的。可以认为，所有信息都是以模式的形式出现的：输入向量是模式，输出向量是模式，同层的神经元在某一时刻的状态是模式，所有的神经元在某一时刻的状态是模式，网络中任意层的权矩阵、权矩阵所含的向量都是模式。,3.1.7 存储与映射,在循环网络中，所有的神经元的状态沿时间轴展开，这就形成一个模式系列。所以说，在人工神经网络中，有两种类型的模式：空间模式（Spatial Model）:网络所有的神经元在某一时刻的状态所确定的网络在该时刻的状态叫做空间模式；时空模式（Spatialtemporal Model）:以时间维为轴展开的空间模式系列叫做时空模式；这两种模式之间的关系如同一个画面与整个影片的关系。仅在考虑循环网络的稳定性和网络训练的收敛过程时涉及到时空模式，一般情况下只研究空间模式。,3.1.7 存储与映射,在日常生活中，当寻找一单位时，需要知道它的地址，然后根据地址去访问它；在计算机系统中，目前习惯的也是通过地址去存放和取出数据。实际上，在人工神经网络技术中，空间模式的存取还有另外两种方式。所以，按照信息的存放与提取的方式的不同，空间模式共有三种存储类型：（1）RAM方式（2）CAM方式（3）AM方式,（1）RAM方式,RAM方式即随机访问方式（Random Access Memory）。这种方式就是现有的计算机中的数据访问方式。这种方式需要按地址去存取数据，即将地址映射到数据。,地址,数据,（2）CAM方式,CAM方式即内容寻址方式（Content Addressable Memory）。数据自动找到其存放位置。将数据变换成它应存放的位置，并执行相应的存储。例如，在后面介绍的人工神经网络的训练算法中，样本数据被输入后，它的内容被自动存储起来，尽管现在还不知道它们具体是如何被存放的。,数据,地址,（3）AM方式,AM方式即相联存储方式（Associative Memory）。这种方式是数据到数据的直接转换。在人工神经网络的正常工作阶段，输入模式（向量）经过网络的处理，被转换成输出模式（向量）。,数据,数据,人工神经网络的工作方式,在学习/训练期间，人工神经网络以CAM方式工作：它将样本数据以各层神经元之间的连接权矩阵的稳定状态存放起来。由于权矩阵在大多数网络的正常运行阶段是一直被保存不变的，所以权矩阵又被称为网络的长期存储（long term memory，LTM）。网络在正常工作阶段是以AM方式工作的：输入模式被转换成输出模式。由于输出模式是以网络输出层的神经元的状态表示出来的，而在下一个时刻，或者在下一个新的输入向量加到网络上的时候，这一状态将被改变，所以，称由神经元的状态表示的模式为短期存储（short term memory，STM）。,人工神经网络的工作方式,输入向量与输出向量的对应关系是网络的设计者所关心的另一个问题。和模式完善相对应，人工神经网络可以实现还原型映射。如果此时训练网络的样本集为向量集合：在理想情况下，该网络在完成训练后，其权矩阵存放的将是上式所给的向量集合。此时网络实现的映射将是自相联（Auto-associative）映射。,人工神经网络实现变换型和分类型映射,如果此时训练网络的样本集为向量对组成的集合：则在理想情况下，该网络在完成训练后，其权矩阵存放的将是上式所给的向量集合所蕴含的对应关系，也就是输入向量Ai 与输出向量Bi 的映射关系。此时网络实现的映射是异相联（Hetero-associative）映射。,人工神经网络实现变换型和分类型映射,由样本集确定的映射关系被存放在网络中后，当输入一个实际的输入向量时，网络应能完成相应的变换。对异相联映射来说，如果网络中存放的集合为式（3.18），理想情况下，当输入向量为 Ai时，网络应该输出向量Bi。实际上，在许多时候，网络输出的并不是 Bi，而是 Bi 的一个近似向量，这是人工神经网络计算的不精确性造成的。,人工神经网络实现变换型和分类型映射,当输入向量为 Ai不是集合式（3.18）的某个元素的第一分量时，网络会根据集合式（3.18）给出 A对应的理想输出近似向量。多数情况下，如果在集合式（3.18）中不存在这样的元素(Ak,Bk)，使得或者且则向量 B 是 Bi与 Bj的插值。,3.1.8 人工神经网络的训练,人工神经网络最具有吸引力的特点是其学习能力。1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。但是，人工神经网络的表达能力是有限的，这就极大的限制了它的学习能力。人工神经网络的学习过程就是对它的训 练过程。所谓训练，就是在将由样本向量构成的样本集合（简称为样本集、训练集）输入到人工神经网络的过程中，按照一定的方式去调整神经元之间的联接权，使得网络能将样本集的内涵以联接权矩阵的方式存储起来，从而使得在网络接受输入时，可以给出适当的输出。,3.1.8 人工神经网络的训练,从学习的高级形式来看，有导师学习（有教师学习），无导师学习（无教师学习），强化学习（再励学习）而前者看起来更为普遍些。无论是学生到学校接受老师的教育，还是自己读书学习，都属于有导师学习。还有不少时候，人们是经过一些实际经验不断总结学习的，也许这些应该算做无导师学习。从学习的低级形式来看，恐怕只有无导师的学习形式。因为到目前为止，还未能发现在生物神经系统中有导师学习是如何发生的。在那里还找不到“导师”的存在并发挥作用的迹象，所有的只是自组织、自适应的运行过程。,1.无导师学习,无导师学习（Unsupervised Learning）与无导师训练（Unsupervised Training）相对应。该方法最早由Kohonen等人提出。虽然从学习的高级形式来看，人们熟悉和习惯的是有导师学习，但是，人工神经网络模拟的是人脑思维的生物过程。而按照上述说法，这个过程应该是无导师学习的过程。所以，无导师的训练方式是人工神经网络较具说服力的训练方法。,神经网络(学习系统),a输出,p输入,1.无导师学习的优点,无导师训练方法不需要目标，其训练集中只含一些输入向量，训练算法致力于修改权矩阵，以使网络对一个输入能够给出相容的输出，即相似的输入向量可以得到相似的输出向量。训练过程中，相应的无导师训练算法用来将训练的样本集合中蕴含的统计特性被抽取出来，并以神经元之间的联接权的形式存于网络中，以使网络可以按照向量的相似性进行分类。,1.无导师学习的缺点,虽然用一定的方法对网络进行训练后，可收到较好的效果。但是，对给定的输入向量来说，它们应被分成多少类，某一个向量应该属于哪一类，这一类的输出向量的形式是什么样的，等等，都是难以事先给出的。从而在实际应用中，还要求进行将其输出变换成一个可理解的形式的工作。另外，其运行结果的难以预测性也给此方法的使用带来了一定的障碍。,主要的