神经网络概述ppt课件.ppt
神经网络技术概述,人工神经网络概述,什么是人工神经网络？,T.Koholen 的定义：“人工神经网络是由具有适应性的简单单元组成的广泛并行互联的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应。”,人工神经网络是针对生物神经网络提出的，来模拟人脑神经系统的结构和功能，目前实现了对生物神经网络最低级的模拟。,人工神经网络研究的发展状况,探索时期（开始于20世纪40年代）1943年，神经生理学家麦克拉奇（W.McCulloch)和数学家匹茨（Pitts）合作，应用反馈机制建立了世界上第一个神经网络模型，即人工神经网络（ANN）；1949年，赫布提出改变神经元连接强度的Hebb学习规则；第一次热潮时期（20世纪50年代末20世纪60年代初）1958年，罗森布.拉特（F.Rosenblatt）设计制作了“感知机”，它是一种多层的神经网络，这项工作首次把ANN的理论探讨付诸于工程实践；1959年，威德罗（Widrow）等提出了自适应线性元件网络，通过训练后可用于抵消通信中的回波赫噪声，在此基础上发展了非线性自适应网络；1960年，他和M.Hoff提出了LMS（Least Mean Square)最小方差算法的学习规则；,低潮时期（20世纪60年代末20世纪70年代）1969年，明斯基等在perceperon中对感知器的功能得出了悲观结论；1972年，T.Kohonen和J.Anderson分别提出能完成记忆的新型新网络；1976年，S.Grossberg在自组织神经网络的研究；第二次热潮（20世纪80年代至今）1982年，美国物理学家霍普菲尔德（J.Hopfield）陆续提出离散和连续的全互联神经网络模型，并成功求解旅行商问题（TSP）,引起巨大反响；1986年，Rumelhart和McCelland领导的科学家小组提出了（B-P）算法；1987年，首届国际ANN大会在圣地亚哥召开，国际ANN联合会成立，创办了多种ANN国际刊物；1990年，北京召开首届学术会议。,人工神经网络研究的发展状况,生物神经元,构成神经系统的基本单元，简称神经元。包括细胞体、树突、轴突。,轴突,树突,突触,细胞体,神经末梢,人工神经元模型,人工神经元模型可以看成是由三种基本元素组成：（1）一组连接 连接强度由各连接上的权值表示，权值可以取正值也可以取负值，权值为正表示激活，权值为负表示抑制；（2）一个加法器 用于求输入信号对神经元的相应突触加权之和；（3）一个激活函数 用限制神经元输出振幅，激活函数也称为压制函数。因为他将输入信号压制（限制）到允许范围之内的一定值。,人工神经元模型,输入信号,连接权,求和,阈值,激活函数,输出,图中是 神经元的输入，即是来自前级n哥神经元的轴突的信息A，是i神经元的阈值；分别是i神经元对 的权系数，也即突触的传递效率；yi是i神经元的输出；f.是激励函数它决定i神经元受到输入 的共同刺激达到阈值时以何种方式输出。,人工神经元模型,由神经元模型，可以得到神经元的数学模型表达式：,基本特性：（1）非线性（2）非局限性（3）非常定性（4）非凸性,激活函数的主要形式,一些典型的特性函数 阈值型 线性 s型,人工神经网络模型,按神经元的连接方式把人工神经网络分为不同的网络模型：（1）分层网络 单纯的前向网络 具有反馈的前向网络 层内互联的前向网络（2）互联网络 任意两个神经元之间可以互相连接。互连网络一直处于动态变化之中，最后到达某种稳定状态，也可能进入周期振荡。,单纯的前向网络神经元分层排列(输入层、隐层和输出层)。各层之间的神经元全互联，各层内的神经元无连接。每一层只接受来自前一层的输入。,从输出层到输入层有反馈的前向网络,层内有互连接的网络 同一层的神经元可以互相连接.,人工神经网络模型,按神经网络的学习方式把人工神经网络分为：（1）有导师学习 有监督的学习（2）无导师学习 无监督的学习（3）再励学习 每次都给一个假定，自己去不断缩小。,人工神经网络模型,按算法分类：（1）Hebb学习算法（2）学习算法（3）随机学习算法（4）竞争学习算法,人工神经网络模型,Hebb学习算法由Donald O.Hebb提出，如果两个神经元同时兴奋则它们之间的突触连接加强，如果神经元i是神经元j的上层结点，用，分别表示两个神经元之间的激活值 表示两个神经元之间的连接权则Hebb学习规则可以表示为：,式中 表示学习效率Hebb学习规则是人工神经网络学习的基本规则几乎所有神经网络的学习规则都可以看作Hebb学习规则的变形。,人工神经网络模型,学习方法：误差校正学习算法是根据神经网络的输出误差对神经元的连接强度进行修正，属于有导师学习。,权值调整公式：,调整目标是使下述公式所表达的误差为最小,神经网络的特点,不确定性，模糊及数学建模特点并行分布式处理非线性处理具有自学习功能神经网络可采用硬件实现,神经网络的应用领域,模式识别（1）语音识别 语音识别娃娃（2）图像识别与理解 人脸检测,神经网络应用领域,消费电子电气产品中的应用（1）空调装置的神经网络控制（2）全自动洗衣机的模糊神经网络控制,神经网络的应用领域,机器人,智能故障检测,神经网络的应用领域,医学应用 医学图像处理,神经网络的发展前景,我们可以想象到那时声控电视、电话、计算机、打字机等将进入寻常百姓家;人类可以直接同机器进行接口对话;具有思维、语言、感情的智能机器人将替代我们去做许多繁琐和人类自身不适合做的事情。,谢谢！,
