六章人工神经网络模型ppt课件.ppt

第六章 人工神经网络模型,我们不可能对生物学上的神经网络作完全的了解，只可能在某种成度上描述我们所了解的情况。同样，人工神经网络也只可能是在某种程度上对真实的神经网络的一种模拟和逼近。 6.1神经元模型生物神经元模型神经元neuron,neural cell也就是神经细胞。人脑就是由大量神经元组合而成的。神经元由 细胞体、树突和轴突组成。 中心 接受器 传导信息,人工神经元模型，如图所示(threshold),某个神经元 j 的输入输出关系为其中， 为阀值， 为连接权，f()为变换函数， 也称活化函数(activation function)。变换函数的种类有很多种，可参见p.126。其中用得最多的是比例函数 y=f(x)=s 和 S-型函数，Sigmoidal function,6.2 感知器 (perceptron),感知器是一种非常特殊的神经网络，它在人工神经网络的发展历史上有着非常重要的地位，尽管它的能力非常有限，只能用于线性分类。 我们以单层感知器来说明：两个输入 x1 和 x2 。一个阀值 两个待调整的权值W1和W2决策函数为样本集分别属于2类。,很显然，正确分割这两类样本的直线 方程为d(z)=0具体的算法如下，用于确定wi和随机给定一组连接权i(k), i= 0，1，2。K=0，表示初始值。任取其中一个样本 为期望的输出值，或者是期望的函数决策值。,按下式调整连接权0为学习率在样本集中另选一个样本，并置k+1k，重复steps (2)-(4) until 为什么？表示此时的d(x)已能正确分类，无须修改。这里介绍的感知器，由于只有一层，故而其分类能力非常有限，不能处理XOR问题。所以在1969年，Minsky和Papert发表了名为Perceptron的专著, 书中指出,这样的简单的线性感知器的功能非常有限，使得随后的研究处于低潮。, 6.3 人工神经网络,前面介绍的感知器已给了我们一个大概的认识，即NN是怎么回事。它是一个并行和分布式的信息处理网络。由许多神经元组成，每个神经元有单个的输出，它可以连接到很多其他的神经元。每个结点（node)有一个状态变量xj结点i到j 的连接权为每个结点有一个阀值每个结点有一个变换函数,比如说BP网，也称MLP，即多层感知器，其网络结构为：这是一种前馈型网络，CMAC也是一种前馈型网络，但是有点特别。(feedforward network),另一种是反馈型网络NN(neural network)的特点单个神经元的处理速度，比计算机要慢很多。大量Neurons 并行处理容错能力强，部分内容损坏，仍可工作。BP网的算法见PP133-136请大家考虑一个问题，即除输入层之外的其他层的每个节点的输出=？误差如何反向传播?, 6.4 BP算法及推导,BP其实就是Error Back PropagationBP算法实质上是梯度法的一种应用结果梯度法 考虑无约束问题， 其中函数f(x)一阶连续可导。梯度法就是在点x处以f(x)的负梯度方向进行搜索的一种优化方法，其迭代公式，其中， 是从 出发的搜索方向，取最速下降方向,是步长,可按下式确定,但实际凭经验.简单的Delta规则 设有P个样本对, 对于输入 期望输出是实际输出是 ,所以，Delta规则其中，,I,i,i,i,o,o,o,O,训练用的性能指标为,带隐含层的BP网,定理：对于具有隐层的多层前馈网，当性能指标为网络训练按下列公式进行,证明,采用Sigmoid激发函数的BP算法,1 置各权值和阈值的初值 为小的随机数2 输入学习样本对 ，对各样本进行（3-5）3 计算网络各层的输出4 计算训练误差5修正权值和阈值momentum term6 对所有样本训练后，指标是否满足精度要求？ 满足：结束训练。否则，转到（2）继续训练。,(x1, x2) y(0, 0) 0(1, 0) 1(0, 1) 1(1, 1) 0Y=|sin(x)|Due May 28, 2019,