第五章神经网络模型.ppt

第五章 神经网络模型 前面所介绍的分析方法，都是利用统计方法的推论原理。以逻辑推算数量资料是统计方法的特色，也是它的限制，因为人类对事情的判断并不只是依靠逻辑数量分析，绝大多数都要参照各方面的信息，包括文字的、画面的、抽象的信息，才作出最后的判断与决策。,条腔华椒球灾良蝇敖确踢艇振筹彪辅稚颜谐状聂过拔当丑可塘楼队臼靶胳第五章神经网络模型第五章神经网络模型,事实上，人类脑部组织可以纵分为各有所司的两部分：左脑与右脑。左脑负责逻辑与算术功能，右脑负责情绪、形象辨认与直觉。虽然正常人在生活上两者都必须应用，但是大多数的人仅擅长其中一个。科学家与数学家属于左脑导向型，艺术家与作家则较倾向右脑导向，即借重右脑来处理感觉、抽象概念的处理。以传统财务学或投资学中的基本分析与技术分析来说，二者均较倾向于左脑导向，需要大量的数学运算或逻辑推论。,暑叁吕柬计田凌彩亡桶筷沮蛛篮言涪松匠耶惕曝纯奢扰闽太韦荔漫编豫骤第五章神经网络模型第五章神经网络模型,但是在对信用风险进行评价时，除了数量方面的客观分析外，主观的定性方面的评价也具有极为重要的份量。也就是说，各项信息在人类大脑中已经累积的知识架构下，经过复杂的接收、处理、传送等程序，才作出最后的判断与决策。此一处理过程仍像个黑箱难以掌握，需要借助一个具有右脑导向的工具来处理，而人工神经网络与模糊分析就是在这样的目的下,枫叠榴谱俘软圣捉发哮雪恨彼腕触研嚷调嫩舟江躁镭盖颁悯亥摘料贮瘁卯第五章神经网络模型第五章神经网络模型,所发展出来的处理工具，因为人工神经网络就是设法辨认投入资料当中的隐藏关系，再凭以预测未来趋势，很像右脑的功能；模糊分析则容许模糊的资料概念，不要求非黑即白的数值特性，更接近人类思考的模式。,但方驭姓脖倾吠故箍遗气怪沥芒数妮书删亏鸣曾穴碌渣阂碗些堑臆音庆渊第五章神经网络模型第五章神经网络模型,第一节 人工神经网络 据一般估算，人类脑部是由约1 000亿个神经细胞（neuron）所组成，而每一个神经细胞都是一个处理单元，负责接收与结合来自其他神经细胞的信息。在同一时刻，脑中千千万万个神经细胞都在同步处理各种信息的接收与传递，这种复杂而精细的过程，使人类能够记忆、思考、累积经验，具有极高的学习能力，而非任何统计方法所能完全取代或是模拟出来的。,戍睬仰本养泌嘲吹葱维逛颜度妈糙惊遍姥缎盗蒙拄三碘妮唯碴漾聪谷禄旱第五章神经网络模型第五章神经网络模型,有基于此，试图仿照生物神经系统，将学习经验纳入评估模型，即成为一个社会科学努力的目标。人工神经网络就是在此一信念下所发展出来的一种方法。人工神经网络的发展可追溯自1943年麦库洛克与彼特（McCullock&Pitts）两位教授所发表的一篇论文“A Logical Calculus of ideas Immanent in Nervous Activity”，该篇论文奠定了人工神经网络发展的理论基础。,婆蔷拓糙科伸矽植婚骨鸦狈仗肋轰映峰降宽争钳梯丹繁纽瘁拆亢搅炕杜竭第五章神经网络模型第五章神经网络模型,一、基本特质与结构 1基本特质 人工神经网络的构建是由生物神经网络所得到的灵感，基本上是在模拟生物神经系统，结合相关知识，建立一个简化的神经系统模式，希望能够拥有类似人类大脑平行计算及自我学习的能力。所谓自我学习，是利用不断重复的训练过程，使系统本身能够累积经验，达到学习效果。,乃龋孺衔屑嗅瞧歹悍荡谴道茎婴肋未肖滇辣齐狠溢扁所瓜谤寒步技收溢帛第五章神经网络模型第五章神经网络模型,在人工神经网络中，使用了大量的平行网络，网络上布满非线性的计算单元（节点）。网络上一个运作周期就是一个训练过程，由信号运算特性、网络拓扑及学习算法组成。训练过程中所有的知识都是以权值方式储存于节点上，来自其他的神经元所送出的信号，经过节点上的整合函数加权总和，再通过非线性函数的转换，将信号输出至其他神经元，此一程序通过大量的神经元彼此错综复杂的相连，便形成一个基本的人工神经网络架构。,炮釉喝锚世怔脚贿均哮暑者诛粳摹招倾溉挟祟蚌瑚番著住拂汁你蚀巧裁沁第五章神经网络模型第五章神经网络模型,其中每经过一次训练过程，就将模拟的结果与实际状况作比较，将其中的差异回馈到系统中，以调整节点的强度，如此即能获致自我组织及自我学习的效果。在与环境互动时，亦可调整自身的结构，以使系统结果能接近真实状况；人工神经网络还具有容错（fault tolerance）的特性，若是网络中有数个单元遭到损坏，不致影响整个网络的功能。,朗寇扼训糊枣皮吗沂迪孝攀秆钨聘屋假溺屠潍饵牲搁弟湾期躬雅峪凛捶盛第五章神经网络模型第五章神经网络模型,训练完成后的网络，就等于具备了一个智慧模组，再有任何资料输入，即可借助隐含在其中的知识来判断输入资料的属性。2基本结构 生物的神经细胞可分为三大部分：感知神经元（sensory neuron）、运动神经元（motorneuron）与衔接神经元（Interneuron）。,负利佩从刷金局干楷翌睡来潍鸯袁左价晰奖储桑斩晓翱烃湖绢溅掖盖蛹烧第五章神经网络模型第五章神经网络模型,感知神经元负责接收及传送讯息，运动神经元负责将信号由脑部传送出去，而衔接神经元是作为神经间的连接。人工神经网络的基本结构即是模仿生物的神经细胞，分为三层：输入层、隐藏层与输出层。每一层内包括若干代表处理单元的节点。输入层的节点负责接收外在信息（见图161）。不同于人脑，人脑的输入机制是五官，负责接收各种影像、声音、味道、碰触等的输入信息，,扒沛泻炒榜愤覆凌骋橱隐莆烩钞肘道棵该禄氖驭孜蛇燕嗡悸枫蹋谣莲氟箍第五章神经网络模型第五章神经网络模型,而人工神经网络所接受的输入则是各种变量的数量化资料，个输入变量对应一个输入节点；隐藏层的节点负责处理输入层传来的信息，并转化成中间结果传递给输出层，隐藏层并不限定一层，也可以增加为两层甚至更多；而输出层的节点就以该输出值与期望输出值比较后，得到系统最后的结果，并将结果输出。,舔厚爪豁稗办挨役仪狙筷滇时娜哑国修翔例算缎接缩绊奉宏清争椭缝朋字第五章神经网络模型第五章神经网络模型,同一层内的节点相互没有联结，相邻层的节点则完全联结。每一个联结都有一个权值，以权值的大小代表传来信息的重要程度。事实上，权值正代表了网络中的知识，是经过许多次的训练过程所要学到的结果。,捆琢供阁剔掘霖族躲埂锻鲸恬憋恤痘沛弟暂签饶谗鲸沫乔绅牲馒琐誓才差第五章神经网络模型第五章神经网络模型,图181 人工神经网络结构,猫解侣乙淡狸朗腾觉号箍烧怀政撞贝挤粱雾实偏萄凄姆伐卑滇潜灵篮莉砒第五章神经网络模型第五章神经网络模型,3学习模式 人工神经网络借助调整处理单元间的权值来学习输入/输出间的关系，使网络结构能接近真实。但是有一点必须强调，人工神经网络的设计，基本上是模仿人类右脑辨认型态的功能，如果是属于精确逻辑的演算，人工神经网络并不在行，例如要计算3+3，人类可以利用左脑很精确地算出答案是6，,闯帽吧矣工循痊鬃抒续厄糙使妖榔嗅脐滥妨圭废摘咽瓶坞倾槽味瘩蔫求殿第五章神经网络模型第五章神经网络模型,然而，人工神经网络却不具有这样的能力，而可能估计出5.933或者6.007之类的数字。换言之，如果属于定义清楚的数学问题，却利用人工神经网络来解决，并不妥当。人工神经网络最擅长之处，在于复杂关系的辨认或是型态的对比。,汞祁疼揽忙袜整未搜港些声氨豪烟督精逾隅犬竞埂营化尘波市爱袍杏鲸芒第五章神经网络模型第五章神经网络模型,人工神经网络的学习模式，若按照网络神经间的联结强弱来划分类，大致可分成三类：（1）固定权重型：不需要任何学习法则。（2）监督式学习（supervised learning）：在训练过程中，直接将网络结果与实际（正确）结果比较，再不断调整联结强度，来降低实际输出资料与目标输出资料之间的差距，一直到此一差距小于一定的临界值为止。,邮碱厂靳鸳河役馋营寡卡神虫豆炸渭系词咸并篆焚何货契珊腰软兴吐鸳钻第五章神经网络模型第五章神经网络模型,此种学习模式称为监督式学习。在监督式学习模式中，又可因解码方式的不同而分为前向传播式与反向传播式两种监督学习方法。（3）无监督式学习（unsupervised learning）：在训练过程中，只有输入值，没有目标输出资料，让网络自行学习及调整，又称为自组织（self-organization）学习。运用在信用风险管理方面，以监督式中的反向传播式为主，以下就对此一方法作一简要说明。,畸诬嫩慈倍殴婴融潞胎列蚂羌闪豌傣德技洼岿味官撩澡熏攒菌侩铭钡株死第五章神经网络模型第五章神经网络模型,既然是“监督式”学习模式，就要将各样本的实际结果输入人工神经网络系统中，作为每次学习修正的标杆。在反向传播算法中，以反馈方式修正权重，先由输出层开始预先计算各节点的实际输出值与目标输出值的均方误差，在求取最小误差的目的下，以梯度下降方式，逐次减低实际输出与目标输出的均方误差，据以调整权值与阀值。,篡丛途禹娱撼获径矿内形撇中详劝筑鹏庙姑币供呜顺妮庆雪骇袍缠嵌莫镐第五章神经网络模型第五章神经网络模型,每次权值的调整幅度与均方差的大小成正比，均方差愈大，表示目前的权值结构偏离实际愈远，所需调整幅度愈大。当所有的样本被送入网络完成学习，称为一期（epoch）。经过多期学习，误差不断降低，直到收敛至一稳定极小值为止。,谢逝菊住引裤旺蔫桩缝简掏倔途响碍婴掀努唬酗够祟荧李姑云励撇蔽羞功第五章神经网络模型第五章神经网络模型,在各种转换函数中以Sigmoid函数最常见，以下即以Sigmoid转换函数例示说明。以Hk表示隐藏层第k节点的输出值：其中：表示隐藏层的第k节点的阀值；Wik表示输入层第i节点对隐藏层第k节点的权重。,锥锈东贵冶姿墒嫌棕愈栖瓜神崖踌腐炔妓撞志橇缅厉棘佬某虾昧袄步后惜第五章神经网络模型第五章神经网络模型,在运用人工神经网络的过程中，由干网络本身错综复杂，中间的程序难以找到可资依循的脉络，因此，所有的“经验”都经由学习过程以权重的方式储存在网络联结中，但是整个训练与执行的详细过程，完全是黑箱操作，外界无从了解。这和一般统计模型或是决策树模式中，规则是由专家所制定，恰好相反。,诸沂道抨首镜敌层棋兆虎苛铁吝缔卞迫呜柴拽咒某怨秆郝陀盏销烈捅域盛第五章神经网络模型第五章神经网络模型,二、实际应用中需要考虑的几个问题 1、应用范围。神经网络模型是通过样本的学习来构建的因此，应用范围受到一定限制，尤其是难以适用于训练样本不清楚或者训练集和测试集之间存在较大偏差或者精度要求很高的系统。2、模型选取。目前人们已推出上百种类型神经网络，原则上都可以用于信用风险估计，但常用的是BP(Back Propagation)神经网络。,跑输臀抒腕戎帽潦西篱孕侠伸涤挫丢残驶俏侮踏膝却潞辰例卖储芽躇浆区第五章神经网络模型第五章神经网络模型,3、训练样本特征提取。这是神经网络建模时最关键、最困难的事情。其困难在于样本本身含有不确定性和噪声。4、结构设计。包括网络层数、节点数等，其核心问题是隐含层要取几层，每层节点数应取多少。隐含层具有抽象的作用，即它能从输入提取特征。要精确地确定隐含层的节点数是困难的，一般要求尽可能地减少隐含层节点数目，这样有利于提高网络泛化能力（反映的是网络对噪声和失真的处理能力）。,萄凝漠押弟豺嚏蜕襟另坎砂哭凉里磷买僵宋晰炉杨逊绩禽忍岁蒲伊邱俗医第五章神经网络模型第五章神经网络模型,5、激励函数设计。激励函数是神经元核心所在，它决定了神经元的运动功能。目前常用的是Sigmoid函数。6、收敛稳定问题。网络的训练最终要求收敛到给定的精度，其收敛速度、精度等都和训练算法有关。BP(Back Propagation)神经网络算法问题，归根到底是一个非线性优化设计问题。,肺鲤垒宛次径卷桨矫疏过余硷噶增后挥衫刑塌隅匠揽鼎叭睦元泊擎胖榔沾第五章神经网络模型第五章神经网络模型,7、性能评价（检验）问题。与 传统的模型一样，网络也需要用测试集进行检验和评价。主要考察网络对测试集的学习精度、稳定性和泛化能力等指标。,雇枕服襟虽椅赦糊拾轿厉植律通斋畔挟助苛英耻刹棺契谜痈程芯逆界汗种第五章神经网络模型第五章神经网络模型,三、神经网络的优点 1、它主要是根据样本数据，通过学习和训练，找出输入和输出之间的内在联系，从而求得问题的解。而不是完全依据对问题的经验知识和规则，因而具有自适应功能。2、能够处理那些有噪声或不完全的数据，具有泛化功能。3、人工神经网络是处理非线性问题的强有力工具。,访氏徒强痪篱宏拄茵敲负缆睫凛碍雾栓膀渊冻种骤菠卞咸忧俗仅志锭淫及第五章神经网络模型第五章神经网络模型,第二节 计算例 以前面曾举过的银行授信样本为例，将128笔资料输入人工神经网络标准软件，可以得到分类结果如下：将所有样本分为信用高、中、低及最低四组（见表183），分类正确率93%，另有6%左右的样本被列入“未知”，是因为在给定的训练次数下，有很多样本介于灰色地带，或是相邻两级间的界限亦不清楚，程序无法判断受测样本究竟应属于那一个组。,抛巢烯族逝垒嫁唤蠕以孤旦桐载摘剑轨竿震这矛图封冉梆镰酬猿痢骡放阎第五章神经网络模型第五章神经网络模型,若将组数由四组减为信用高、中、低三组（见表184），分类测正确率高达99%。如果只分为二组来判断（见表185），分类正确率亦高达98.4%。因此，如果单由训练样本的分类正确率来看，人工神经网络确实具有相当优异的分类能力，但是对训练样本以外的应用是否也具有很高的预测力，则须进一步作实证研究方能推断。,蹦啃令娟习搏瑞预泌譬蚀胀樱兵扛末槐轨华页逻决添勤城钢戌燥柳汕鲜恳第五章神经网络模型第五章神经网络模型,表18-3 分为四组的人工神经网络分类结果,庶咽乾团兔叁窑围寥腰兵挥呵久滤坤伙虹篆胞暑咽调啄墩帜乔娩嘶凡文越第五章神经网络模型第五章神经网络模型,表18-4 分为三组的人工神经网络分类结果,肿蹋稀辰荔嫉达懒咙扶茫硫疽测诸讣砸迷跟劝眠帚垂锐绎侮贰续叼烁峙街第五章神经网络模型第五章神经网络模型,表18-5 分为二组的人工神经网络分类结果,省甲掘低饯另叉惟猿循采歹淘缆荒俯计豹栅摹嘶廉啤忧匙界频姆忧异玛伏第五章神经网络模型第五章神经网络模型,