第三章：神经网络基础.ppt

第三章 神经网络,山东大学控制科学与工程学院,提要：,第一讲 神经网络基础 第二讲 前向神经网络 第三讲 反馈神经网络 第四讲 随机神经网络,第一讲 神经网络基础,大脑是由生物神经元构成的巨型网络，它在本质上不同于计算机，是一种大规模的并行处理系统，它具有学习、联想记忆、综合等能力，并有巧妙的信息处理方法。人工神经网络(简称神经网络)也是由大量的、功能比较简单的形式神经元互相连接而构成的复杂网络系统，用它可以模拟大脑的许多基本功能和简单的思维方式。,第一讲 神经网络基础,人工神经网络（Artificial Neural Networks,简记作ANN），是对人类大脑系统的一阶特性的一种描述。简单的讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。神经网络主要用于非线性系统的辨识建模、非线性过程的预测、神经网络控制及故障诊断等。美国军方认为，神经网络技术是比原子弹工程更重要的技术。,第一讲 神经网络基础,一神经网络定义：基于模仿生物大脑的结构或功能构成的信息处理系统或计算机。80年代美国的H.Nidsen定义：神经网络是由多个非常简单的处理单元（神经元）彼此以某种方式相联接而形成的计算机系统。该系统是靠其状态对外部输入信息的动态响应来处理信息的。,第一讲 神经网络基础,二 生物神经元的结构和动作原理以及功能 1.生物神经元的结构 人脑大约由1012个神经元组成，神经元互相连接成神经网络。生物神经元是大脑处理信息的基本单元，以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成。,图1-1a 神经元的解剖,图1-1b 神经元的解剖,第一讲 神经网络基础,细胞体：细胞体是由很多分子形成的综合体,内部含有一个细胞核、核糖体、原生质网状结构等,它是神经元活动的能量供应地,在这里进行新陈代谢等各种生化过程。包括细胞核，细胞膜和细胞质。轴突：细胞体突起的最长的外伸管状纤维称为轴突，轴突是把神经元兴奋的信息传出到其它神经元的出口。树突：细胞体的伸延部分产生的一至多个突起，呈放射状的分枝称为树突,它是细胞体向外伸出的许多较短的树状分支,相当于细胞的输入。树突具有接受刺激并将冲动传入细胞体的功能，树突与其树突末梢是接受从其它神经元传入的信息的入口。每个神经元有大约10000个树突连接。,第一讲 神经网络基础,突触：突触是神经元的树突末梢连接另一神经元的突触后膜(postsynaptic membrane)的部分。它是神经元之间相联系并进行信息传送的结构,是神经元之间连接的接口。两个神经元的细胞质并不直接连通,两者彼此联系是通过突触这种结构接口的。膜电位：神经元细胞膜内外之间存在电位差，称为膜电位。膜外为正，膜内为负。膜电压接受神经其它神经元的输入后,电位上升或下降。当传入冲动的时空整合结果，使膜电位上升，而且当超过叫做动作电位的阈值时,细胞进入兴奋状态，产生神经冲动，由轴突输出，这个过程称为兴奋。,第一讲 神经网络基础,2 突触传递信息动作原理兴奋期,大于动作阈值绝对不应期：不响应任何刺激相对不应期：很难相应 根据突触传递信息的动作过程可以分为两种类型：兴奋型和抑制型。神经冲动使得细胞膜电压升高超过动作电压进入兴奋状态产生神经冲动，若使膜电压下降，低于阈值细胞膜进入抑制状态，无神经冲动输出。,t(ms),动作阈值,图1-2 生物神经元动作原理,第一讲 神经网络基础,第j路输入信号，从第j路与第i个神经元的连接权，第i个神经元的阈值，第i个神经元的输出。,三 神经元的数学模型,图1-3 神经元数学模型,第一讲 神经网络基础,数学模型MP模型：1943年由美国心理学家Mcloch和数学家Pitts提出的。其中常用的有阈值型，sgnx为符号函数。,式中涉及的符号如1-3图所示。,第一讲 神经网络基础,四 人工神经元与生物神经元区别（1）模型传递的是模拟信号，生物输入输出均 为电脉冲（2）没有考虑其不应期，时滞，疲劳现象。（3）只考虑空间叠加性，没有考虑时间迭加。,