人工神经网络及其应用课件.ppt

《人工神经网络及其应用课件.ppt》由会员分享，可在线阅读，更多相关《人工神经网络及其应用课件.ppt（55页珍藏版）》请在三一办公上搜索。

1、Artificial Intelligence人 工 智 能,第3章人工神经网络及其应用,3.1神经生理学基础 3.2人工神经网络的基本原理 3.3几种典型的模型及其应用 Hopfield网络模型反向传播BP模型 自适应共振理论ART模型3.4 几个实例,本章重要概念（简述）,神经元的结构（画出示意图）神经元的模型（画出示意图）神经元的数学模型人工神经网络的主要特征三种典型的人工神经网络模型,3.1神经生理学基础,人类的智能到底起源于何处，这是自古以来人们追求的一个目标。古代人们认为心是智慧的源泉，直到现在，很多汉语词汇仍然保留着历史的踪迹，如“心智”、“心理”等等。现代医学及生理学告诉我们，

2、人脑特别是大脑，是人类高级智慧的核心，而其中的神经元又是人类智能活动的基础。,神经元的结构,神经元的结构,神经元胞体内含有细胞核、核糖体、原生质网状结构等，它是神经元新陈代谢等各种生化过程的活动场所，是神经元的能量提供者。树突是胞体外一些枝状延伸物，主要接收别的神经元传送的神经信号，一般为电信号或化学信号。轴突是细胞体外伸的一个管状纤维，轴突最长可达1m以上。轴突的功能是把神经元的神经信号传到其神经末梢。神经末梢是在轴突端部一些细小的枝状物，它接收来自轴突的神经信号，并与下一个神经元接触。,神经元信号传递,我们可以看到，人脑中神经信号的传送就是一个神经元的神经末梢与下一个神经元的树突发生信号传

3、递的过程，神经元末梢与一个神经元的树突接触区域称为突触，这个区域可以用下图来表示。,大脑神经元的基本运行状态,在神经信号的驱动下，神经末梢会释放囊泡中的神经传递介质，下一个神经元的树突有一个受体接收到这个传递介质，并引起神经元胞体内的电位上升，一旦下一个神经元从众多的树突中接收到足够多的神经刺激，它就会被激活，从而沿轴突将神经信号传送到它的神经末梢，引起下一批神经元被激励。,3.2人工神经网络的基本原理,1943年，美国科学家Pitts和McCulloch首次提出了神经元的M-P数学模型，为人工神经网络的研究开辟了道路。1949年Hebb提出了著名的Hebb学习定律，认为如果两个神经元处于激励

4、状态，则它们之间的连接（以权重为衡量标准）得到加强，如果两个神经元处于抑制状态，它们之间的连接就被减弱，Hebb定律为人工神经网络的学习机制研究指明了方向。,感知机模型,1961年，Rosenblatt第一次提出了感知机模型（Perceptron)，系统地研究了人工神经网络作为一种智能模型的功能及作用，感知机模型的出现极大地鼓舞了智能技术的研究者，使人觉得一个新的智能应用时代的到来。,陷入低潮,但人工智能的先驱者Minsky等仔细分析了以感知器为代表的神经网络系统的功能及局限后，于1969年出版了Perceptron一书，指出感知器不能解决高阶谓词问题。他们的论点极大地影响了人工神经网络的研究

5、，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。,Hopfield神经网络模型,在此期间，一些人工神经网络的研究者仍然致力于这一研究，提出了适应谐振理论（ART网）、自组织映射、认知机网络，同时进行了神经网络数学理论的研究。以上研究为神经网络的研究和发展奠定了基础。1982年，美国加州理工学院物理学家Hopfield提出了Hopfield神经网络模型，引入了“计算能量”概念，给出了网络稳定性判断。,1984年，他又提出了连续时间Hopfield神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想

6、记忆和优化计算的新途径，有力地推动了神经网络的研究。1986年Rumelhart、McClelland等研究者发表文章*，系统地描述了人工神经网络的理论基础，特别是针对Minsky提出的感知机的缺陷，提出了利用隐节点来克服感知机仅限于线性可分的局限，从而引起新的一轮人工神经网络的研究热潮。*Parallel Distributed Processing: Explorations in the Micro-structure of Cognition，,人工神经网络的核心神经元的模型,神经元的数学模型,输入X=x1 , x2 ， ，xnT 模拟其他神经元对本神经元的影响，权重W =w1, w2

7、 ， ，wn模拟输入对神经元的传递效率，为使本神经元处于激活状态所需的阐值，f (u) 为一旦神经元被激活后输出值的变化，数学模型为：,f (u）的三种模型,阶跃型,S 型,线性连续型,f ( u ) = ku,f ( u ) = 1 / ( 1 + e -u),说明,不同的神经元模型代表了人工神经网络一些基本特征，但这不是研究的全部，更重要的是如何利用这些基本组件来构造人工神经元系统。这些系统可能基本元件一样，但由于结构、连接方式的不同，产生的系统行为会有重大的区别。用一个形象的比喻，我们知道碳是地球上的一个重要化学元素，虽然同是C12原子，但由于分子结构不同，它可以形成非常坚硬的金刚石，能

8、够阻挡放射线的石墨和我们日常生活中容易燃烧的木炭。,高度非线性动力学,大量的形式相同的神经元连结在一起就组成了神经网络。神经网络是一个高度非线性动力学系统。虽然每个神经元的结构和功能都不复杂，但是神经网络的动态行为则是十分复杂的。因此，用神经网络可以模拟、表达实际物理世界的各种现象，解决一些其他领域难以解决的问题。,人工神经网络的主要特征,(1)并行分布性处理(2)可学习性(3)鲁棒性和容错性(4)泛化能力,(1）并行分布性处理,并行性来自于人工神经网络中的神经元排列并不是杂乱无章的，往往是分层或以一种有规律的序列排列，信号可以同时到达一批神经元的输人端，这种结构非常适合并行计算。同时如果将每

9、一个神经元看作是一个小的处理单元，则整个系统可以是一个分布式计算系统。,(2)可学习性,一般人工神经网络模型都有自己的学习算法，或者利用样本指导系统模拟现实环境（称为有教师学习），或者对输人进行自适应（称为无教师学习）。,(3)鲁棒性和容错性,由于采用大量的神经元及其相互连接，人工神经网络中少量的神经元发生失效或错误，不会对系统整体功能带来严重的影响。,(4)泛化能力,如果输入发生较小变化，其输出能够与原输人产生的输出保持相当小的差距。,3.3几种典型的模型及其应用,3.3.1 Hopfield网络模型3.3.2反向传播BP模型3.3.3自适应共振理论ART模型,3.3.1 Hopfield网

10、络模型,Hopfield于1982年提出了用于联想记忆的人工神经网络模型，它是一种带有反馈（输出作为输人的一部分）的网络。,Hopfield模型,Hopfield 是带有自反馈的神经网络模型。模型分为两层：第 0 层为引入反馈而设计，它是退化了的神经元层，神经元的输出等于输入；第 1 层是标准的神经元模型，它的数学模型如下。第 1 层第 j 个神经元的输入前部（对神经元的刺激）:,如果选择阶跃型函数作为神经元的激励函数时，有,稳定性分析,Hopfield网络由于其输出端有反馈到其输入端，在输入的激励下，其状态发生变化，这个变化反馈到输入，从而产生新的输出，引起一系列的状态转移。如果这种状态转移

11、经过一定的时间稳定下来，t + 1 时刻与t 时刻状态相同，则我们称系统到达了稳定平衡状态。,网络稳定的充分条件,并不是所有的Hopfield网络都是稳定的，那么，什么样的网络是稳定的呢？目前没有通常的方法，cohen和Grossberg在1953年给出了关于Hopfield网络稳定的充分条件：如果Hopfield网络的权系数矩阵W是一个对称矩阵，并且W的对角线元素为0，则这个网络是稳定的，即是说在权系数矩阵W中，如果 则Hopfield网络是稳定的。,网络退化成没有自反馈的Hopfield 网络,所谓充分条件是指只要满足以上条件的Hopfield网络，系统经过一定的迭代循环，肯定能够达到稳定

12、的状态。但这并不代表不满足以上条件的Hopfield网络就绝对不稳定。,离散Hopfield网络的工作方式, 串行方式 在时刻 t 时，只有某一个神经元 j 的状态发生变化，而其他 n-1个神经元的状态不变。 并行方式 在任一时刻 t，所有的神经元的状态都产生了变化，则称并行工作方式。从Hopfield 网络可以看出，它是一种多输入的二值非线性动力系统。在动力系统中，平衡稳定状态可以理解为系统的某种形式的能量函数在系统运动过程中，其能量值不断减小，最后处于最小值。,结论,联想存储器,令Hopfield网络是一个具有m个输入节点的网络，学习开始时具有m个样本，它们为,其权值变化为当联想检索时，令

13、输入为初始输出,利用如下的迭代公式其中f(.)一般为非线性函数，常用阶跃型函数。y (t + 1)与 y( t ) 经过一定次数的迭代后，系统输出不再变化，达到稳定。Hopfield网络用它做联想记忆时，如果输入向量与训练的样本不完全一样或有部分不正确的数据，但是网络仍能够产生所记忆的信息的完整输出。,以上讨论的Hopfield网络是离散型的，Hopfield在离散型网络基础上发展了连续型神经网络。连续型Hopfield网络的结构与离散型网络一样，只是输人变换函数f（ ）一般取sigmoid函数，即可以证明如果连续型Hopfield网络的权重矩阵满足对角线元素wii = 0 ，并且wij =

14、wji，则该网络是稳定的 。,3.3.2反向传播BP模型,Rosenblatt 于 1961 年提出了感知机模型Perceptron，它利用神经元模型模拟人类的逻辑思维取得了很大的成功，但 MIT 的著名人工智能学者Minsky分析了Perceptron的结构与特征，提出了它的致命缺陷，无法实现像XOR（异或）这样简单的非线性逻辑运算。,异或运算真值表,令+ 为异或算子，Z = X + Y，则 Z 的取值可以从下表中得到：,+,+,异或运算平面图,因为Perceptron是线性分类器，因此如图中虚线所表达的，无论如何切割，总是无法将黑球与白球分开。所以Perceptron无法面对像XOR这样的

15、逻辑问题。,引入隐节点,1986年，Rumelhart 等研究者提出了引入隐节点，采用非线性神经元的新型神经模型，由于它的学习算法是基于误差反向传播（error Back-Propagation)，于是被称为BP模型，或反向传播模型。下面将两个模型加以对照：, 结构比较,（以三个输入节点，两个输出节点为例）, 映射函数比较,解决方案,由于 BP 模型采用了非线性的映射函数，在解决 XOR 这样非线性分类问题时可能进行图中的划分。,能量最小原理, 初始化权重，一般取接近零的随机数； 将样本的输入作为BP 模型的输入，逐级计算出神经网络的输出； 将样本的输出与神经网络的输出进行比较（均方差，即能量

16、），产生学习误差； 以该误差作为修改各层神经元输出的依据，从顶层（输出层）到底层（输入层）修改连接每一个神经元的权重，即所谓误差的反向传播。,结论,研究人员已经证明：只要有足够多的隐节点和足够的学习时间，BP模型可以模拟任意复杂的非线性曲线。正是BP模型具有这么强大的学习能力，它目前在人工神经网络中得到广泛的应用。DEMO,3.3.3自适应共振理论ART模型,1976年美国 Boston 大学的 S. Grossberg 和 A. Carpenet 提出了自适应共振理论 ART( Adaptive Resonance Theory）模型。它试图利用数学方法描述人类心理与认知活动，如短期记忆（S

17、TM）、长期记忆（LTM）、注意力聚焦等等。ART 是一种自组织神经网络模型，其学习方法属于无教师的自适应过程。当在神经网络和环境有交互作用时，神经网络自动对环境信息进行编码，即对神经网络的权重进行自组织活动。,ART 模型的结构,ART模型连接图,ART工作原理,输入层F1接收来自系统的输入，它经过输入层神经元的加工，只有较强刺激的输入才能激活输入层神经元。所谓较强刺激，即一个称为“2/3规则”的控制。“2/3” 规则告诉我们，三个输入中当有两个输入为正（刺激）时 STM-F1 中的神经元才处于激活状态。（看结构图）这里，STM-F1，通常称为比较层，STM-F2称为识别层，它们之间的通道（

18、权重矩阵）称为LTM（长期记忆）。STM-F2状态的变化表示对注意力转移过程，而由于模式不匹配而引起的状态转移信号就称为定向子系统。,我们可以从结构图中看到，短期记忆STM-Fl有三个输入，分别对应系统输入、增益控制1输入及从STM-F2来的自上而下的输入，“2/3”规则告诉我们，三个输入中当有两个输入为正（刺激）时STM-Fl 中的神经元才处于激活状态。STM-F1的输出经过变换（称为自适应滤波，实际是权重矩阵变换）到达STM-F2，在STM-F2中神经元及来自系统输入部分的作用下，STM-F2形成关于目前输入的特征模式，这个特征模式一方面作为刺激直接作用STM-F1，另一方面通过反馈通道与

19、输入模式进行匹配返回给STM-F1，如果匹配结果比较差，就有可能产生信号（STM重置波），这个信号使得STM-F2放弃目前的特征模式，同时在系统输入的作用下调整神经网络的权重，形成新的特征模式，从而继续循环下去，直到找到合适的特征模式。这就是自适应共振模型的基本运行思路。,应用,由于ART模型在刻画人类认知心理过程中的独到之处，常常被用来进行机器人算法设计、人脸识别、聚类分析等等许多领域，取得了良好的效果。,3.4 几个实例,神经网络实际运行过程,导入规则就是在使用神经网络过程中将符号表达解释成神经网络所需的数值表达的方法。导出规则是在神经网络运行结束后，将神经网络的输出结果解释成符号，以便于进行符号推理的方法。,Q & A,课堂讨论与习题（简述）,神经元的结构（画出示意图）神经元的模型（画出示意图）神经元的数学模型人工神经网络的主要特征三种典型的人工神经网络模型,谢谢,Prof. Dong Hongye董鸿晔 教授,