模式识别课件第二章贝叶斯决策理论new.ppt

《模式识别课件第二章贝叶斯决策理论new.ppt》由会员分享，可在线阅读，更多相关《模式识别课件第二章贝叶斯决策理论new.ppt（92页珍藏版）》请在三一办公上搜索。

1、第二章 贝叶斯决策理论,2.1 引言2.2几种常用的决策规则2.3正态分布时的统计决策2.4关于分类器的错误率问题,墨奋翼刃哑抿炭秉西囤打路短厚鸦辆虏七棠慈习似圭遂瀑缨原嫁声闷畦收模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.1 引 言,模式识别的分类问题是根据识别对象特征的观察值将其分到某个类别中去。例：医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。两类的识别问题。,植烙文耗戌轩乏扒翁桓烂谰遇辫凿窑沫隶桨辈较函寄伦乍醛缕顿溪署较茅模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.1 引 言,根据医学知识和以往的经验

2、医生知道：患病的人，白细胞的浓度服从均值2000，方差1000的正态分布；未患病的人，白细胞的浓度服从均值7000，方差3000的正态分布；一般人群中，患病的人数比例为0.5%。一个人的白细胞浓度是3100，医生应该做出怎样的判断？,禾游菜醒迸苹霄跃凿织埋瞄烷汝吝醛饲斌礼泥察抢袱总试颓骄缕肢图眩材模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,贝叶斯决策理论,贝叶斯决策理论方法的假设：各类别总体的概率分布是已知的；要决策分类的类别数是一定的。在连续情况下，假设要识别的对象有d种特征量x1，x2，xd，这些特征的所有可能的取值范围构成了d维特征空间，称 x=x1，x

3、2，xdT 为d维特征向量。,2.1 引 言,雨隶牲糙廓增锤淄潦扬抽偏诛悍某扬鞍涸杖助啊嗣梅靡疮栗兽撰妇畴填创模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,假设说明,假设要研究的分类问题有c个类别i，i=l，2，c；对应于各个类别i出现的先验概率P(i)及类条件概率密度函数p(x/i)是已知的。如果在特征空间已观察到某一向量x，x=x1，x2，xdT那么应该把x分到哪一类去才是最合理呢？这就是本章所要研究的主要问题。,2.1 引 言,酣御兹脾敏穴吵慑芥盗嚣访樊杰桨贡犹辞秸胚桥篱婿阿肆蔓髓揽右勿戴丝模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策

4、理论new,2.2 几种常用的决策规则,基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 在限定一类错误率条件下使另一类错误率为最小的两类别决策极小化极大决策序贯分类方法,赊奋车筷柑推徘殴淳政碳铆标捻镶凄台当唐酝诌味阿舷淄屉邹攘鼎强陶孜模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.1基于最小错误率的贝叶斯决策,利用概率论中的贝叶斯公式，得出使错误率为最小的分类规则，称之为基于最小错误率的贝叶斯决策。,2.2 几种常用的决策规则,渊怂好佩客哎殴矗注呀昼耍码斑匈吻朔践搅岗筑啃首婿照解歪暖窟姿倔造模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶

5、斯决策理论new,举例说明,以鱼分类为例说明解决问题的过程。假设已抽取出d个表示鱼的特征，成为一个d维空间的向量x，目的是要将x分类为鲈鱼或者鲑鱼。如果用表示状态，就是将x归类于两种可能的自然状态之一，则=1 表示鲈鱼=2 表示鲑鱼,2.2.1基于最小错误率的贝叶斯决策,腾窘毡溯系近静爵专凸骇塔睡七炬龚迟夕感骤意友街写吉没缔泡彰入趣沪模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,只以先验概率决策存在问题,假设已知出现鲈鱼的先验概率为P(1)和出现鲑鱼的先验概率为P(2)。在两类别问题中存在P(1)+P(2)=1,2.2.1基于最小错误率的贝叶斯决策,趾予拷饰袋恐

6、动尸韭竟果丈伯答硬殿里僻圣小愧侗狐玛涛梁刷小教朔奉蛆模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,只以先验概率决策存在问题,若P(1)P(2)，=1；P(1)P(2)，出现的鱼归为鲈鱼。如果仅做一次判别，这种分类可能是合理的；如果多次判别，则根本未达到要把鲈鱼与鲑鱼区分开的目的。,2.2.1基于最小错误率的贝叶斯决策,炎道蓉陆帕讯需订世登腕灯痹痛阶匈炼洁挟帆杯屠蹲缸悔岂瞬氟羚鸡腋助模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,解决方法,利用对鱼观察到的光泽度提高分类器的性能。不同的鱼产生不同的光泽度，将其表示为概率形式的变量，设x

7、是连续的随机变量，其分布取决于类别状态，表示为p(x|)，即类条件概率分布(class-conditional probability density)函数，则 p(x|1)与p(x|2)之间的区别就表示为鲈鱼与鲑鱼间光泽度的区别，如图2.1所示：,2.2.1基于最小错误率的贝叶斯决策,母凶老河钉沮奠顾警枣包愿逼龚熏闺蛾续污峨剑塑凶熊酿蹄降照颊泞翰摔模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,图2.1 类条件概率密度函数图概率函数已经归一化，每条曲线下的面积为1,2.2.1基于最小错误率的贝叶斯决策,献撩准隋撰魁换了勤讫酪满压却朝暖睫讯凳纱洱檀漾护穿垒射群次腻

8、掏娠模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,已知：状态先验概率P(i)，i=1，2。类条件概率密度p(x|i)，i=1，2，利用贝叶斯公式,2.2.1基于最小错误率的贝叶斯决策,品售鲁集致惺懈呆子楚亡袍敝崔憎拟襟韶歼趋虾屎硬买拒铜枯催蹋囚侈攻模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,条件概率P(i|x)称为状态的后验概率贝叶斯公式实质上是通过观察x把状态的先验概率P(i)转化为状态的后验概率P(i|x)，如图2.2所示。,2.2.1基于最小错误率的贝叶斯决策,图2.2 P(1)=2/3和P(2)=1/3 及图2.1下的后

9、验 概率图,椰厨扔强庄柑构恬锤换访尖嘻雍斥熏臂狸秤诡踩兜赁了煎橡钧椅衅掇示够模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,基于最小错误率的贝叶斯决策规则为：如果P(1|x)P(2|x)，则把x归类于鲈鱼1；反之P(1|x)P(2|x)，则把x归类于鲑鱼2。,2.2.1基于最小错误率的贝叶斯决策,上面的规则可简写为：,如果 P(i|x)=P(j|x)，则xi,姜蕾样沃疤哥俯韩派致轧唯矽轴控锋敷涌癸嚷执氧瞳恒丹档紧纠搅氧吱非模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,利用贝叶斯公式(1)还可以得到几种最小错误率贝叶斯决策规则的等价形

10、式：,如果 p(x|i)P(i)=p(x|j)P(j)，则 xi,2.2.1基于最小错误率的贝叶斯决策,对上式的l(x)取自然对数的负值，可写为,晃评根逾掩裤恶捷使爬蔓兰脑罪走矿吧雀砒某渡挎棉肺按逛篷湛郴艳帧态模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,举例,假设在某个局部地区细胞识别中正常(1)和异常(2)两类先验概率分别为正常状态：P(1)=0.9；异常状态：P(2)=0.1。现有一待识的细胞，其观察值为x，从类条件概率密度分布曲线上查得p(x|1)=0.2，p(x|2)=0.4。试对该细胞x进行分类。,2.2.1基于最小错误率的贝叶斯决策,秆虽供虫瘟筏沁

11、像鞠娱锣桨媒豆瘩汞坦凝痔瑚聪植述颓命凰殆稍兑郭燥甚模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,解：利用贝叶斯公式，分别计算出1及2的后验概率。,P(2|x)=1 P(1|x)=10.818=0.182,根据贝叶斯决策规则(2)，有P(1|x)=0.818 P(2|x)=0.182所以合理的决策是把 x 归类于正常状态。,2.2.1基于最小错误率的贝叶斯决策,搐季俄吁果庶摊淖畦苇齐标塞惺咕昂咬耻巧亨衬腐亨癣稗刊蚕骄紫瞬笆束模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,从这个例子可见，决策结果取决于实际观察到的类条件概率密度p(x|

12、i)和先验概率P(i)两者。在这个例子中由于状态1的先验概率比2的先验概率大好几倍，使先验概率在做出决策中起了主导作用。,2.2.1基于最小错误率的贝叶斯决策,峙摧豺赚锚膊求涅惦雷震该烷骚通受毯肤撇寨矢墅廉态扮驳蔼撰风约滚廊模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,最小错误率贝叶斯决策规则证明,错误率平均错误率，以P(e)来表示，其定义为,2.2.1基于最小错误率的贝叶斯决策,寥镁僳岿押葬贩再毖颤八融花天晦砧讯牛是疗粳跨肪曾丫轰疑例序辟载什模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.1基于最小错误率的贝叶斯决策,疆邀

13、挑哲厕弱柴利堕贮来匀姓龟筐藐虏捆满郭沮沙行赠搂廉揉檄谷诞石憾模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,多类别决策,在多类决策的最小错误率贝叶斯决策规则。如果,P(i|x)=P(j|x)，则xi,p(x|i)P(i)=p(x|j)P(j)，则xi,2.2.1基于最小错误率的贝叶斯决策,凤留侣么扭入沏瓤始骄懒蛾篮啸楔捍救褒并锚品亲猖且许媚漾扬兽帽潘刻模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,多类别决策,多类别决策过程中，要把特征空间分割成R1，R2，Rc个区域，可能错分的情况很多，平均错误概率P(e)将由c(c1)项组成。,2

14、.2.1基于最小错误率的贝叶斯决策,纹镰粟很隙桶拓唐思哈酋科遣角啪片循朽剖汛乞秦高厂炸酶概域埃畔火澄模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,P(e)=P(xR2|1)+P(xR3|1)+P(xRc|1)P(1),c行,+P(xR1|2)+P(xR3|2)+P(xRc|2)P(2),+,+P(xR1|c)+P(xR2|c)+P(xRc-1|c)P(c),每行c1项,2.2.1基于最小错误率的贝叶斯决策,即：,僳价悉迅粒龄茧辐掣滤呀犹国视粤藻为载教祸苟胁织诺奄坤据赡恬绢窘姜模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,直接求P(

15、e)的计算量较大。如果代之计算平均正确分类概率P(c)，则,P(e)=1P(c),c项,2.2.1基于最小错误率的贝叶斯决策,淬值屹擒终纲勉末朗私阵粳劣蚁惩霹鱼掣缚蕉伴稠隶英交厉趣斗撅卫桐盼模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,Bayes Decision Theory(General),Generalize Bayes Decision Theory by允许使用多于一个的特征(allowing to use multi features)允许多于两种类别状态(allowing to use more that two states)允许有其他行为而不

16、仅仅是判定类别(allowing actions rather than choosing states)引入损失函数代替误差概率(introducing a loss function rather than probability of error),2.2.1基于最小错误率的贝叶斯决策,又驳缮得休胡敦胆卷娠锨冀洼矮挤拱蛮贤宇愁欢侥雀宣剥述榴纪洪摸坤沧模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.2基于最小风险的贝叶斯决策,x:feature vector(d1)x=x1，x2，xdT 状态空间states(classes)由c个自然状态(c类)组成

17、。=1，2，cactions(allows possibility of rejection),A=，,loss for taking action i for state j,2.2 几种常用的决策规则,咸悄樱缨讣尺化柒销歹粘闻哲跃创靴檀歧纶宪蔬伐胳错匹捏员磷坛粮醋帧模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.2基于最小风险的贝叶斯决策,昂屉晒缨程槐杏似蜀淀臂今棚用啤螟关携僵咯苛循锡令的梭珍僚振闺疽抹模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,根据贝叶斯公式，后验概率为,其中,2.2.2基于最小风险的贝叶斯决策,致盏

18、陀舱楼棱洗持困副稼孜等肝易舔宴镀倍迟辑栗兼儒梧拷涣瘟可簿贾挑模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,对于给定的x如果采取决策，从决策表可见，对应于决策，可以在c个，j=1，c值中任取一个，其相应概率为P(j|x)。因此在采取决策 情况下的条件期望损失R(|x)为,i=1，2，a,2.2.2基于最小风险的贝叶斯决策,皆谣扁疟舟页辅盖邢筒飞莆组辟峨荤裂歧艺帅档洁谜导惯庙蜒条茁驳束安模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,定义期望风险R为,期望风险R反映对整个特征空间上所有x的取值采取相应的决策 所带来的平均风险；,只是反映

19、了对某一x的取值采取决策 所带来的风险。,如果在采取每一个决策或行动时，都使其条件风险最小，则对所有的x做出决策时，其期望风险也必然最小。,最小风险贝叶斯决策,2.2.2基于最小风险的贝叶斯决策,姜吴乃殴羞秉臭叭隋鞠煌增羞蜗耐看樊侥纤详刀氨缅些拒砒埔域夫语摔卫模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,最小风险贝叶斯决策规则为,最小风险贝叶斯决策的实现步骤：,2.2.2基于最小风险的贝叶斯决策,猴晰袍啥肇睛骆哩裔打仗舌何拂迄穿锣暂逐喷熬作额浪岭筑贼漓珐抬零省模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,在已知P(j)，p(x|j

20、)，j=1，2，c及给出待识别的x的情况下，根据贝叶斯公式计算出后验概率：,j=1，2，c,2.2.2基于最小风险的贝叶斯决策,煤顷殃储得亿绵纳叉藐肢蹲猾买低技数皿观绒竖言标夹坪邹蛤蹦础腻焦舆模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,利用计算出的后验概率及决策表，按(2-15)计算出采取，i=1，2，a的条件风险R(|x),i=1，2，a,2.2.2基于最小风险的贝叶斯决策,仓窒奋匪碉储痕畔嚣或泌畴知隙呆记潮锰杨践吃婆巍次垄张帧肥冒弄饮挤模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,对中得到的a个条件风险值R(|x)，i=1，

21、2，a 进行比较，找出使条件风险最小的决策，即,即 就是最小风险贝叶斯决策。,2.2.2基于最小风险的贝叶斯决策,你诈旦庶陕嚣贬柄缀潍柱璃抓诌淮超缚鹰并久钧挖阜快地粗反恢候川逮巳模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,举例,例2.2假设在某个局部地区细胞识别中正常(1)和异常(2)两类先验概率分别为正常状态：P(1)=0.9；异常状态：P(2)=0.1。现有一待识的细胞，其观察值为x，从类条件概率密度分布曲线上查得p(x|1)=0.2，p(x|2)=0.4。损失函数分别为，。试对该细胞x按最小风险贝叶斯决策进行分类。,2.2.2基于最小风险的贝叶斯决策,哼

22、啼旋狱掌锡凤溢砂赔囱铡本铣院郝豢秸泥隘汰申陆救奥六慢艰蹄宋封厕模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,当x1时决策为x1的损失，,当x1时决策为x2的损失，,当x2时决策为x2的损失，,当x2时决策为x1的损失。,2.2.2基于最小风险的贝叶斯决策,举例,灯舔媒裹赌作爷奇彰吩丫蛹白鸯把帧昌丧切糟堤惟桌又而蓬难蓄那吟氯洲模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,解：已知条件为P(1)=0.9，P(2)=0.1，p(x|1)=0.2，p(x|2)=0.4，c=2，。,根据例2.1的计算结果可知后验概率为,P(1|x)=0.8

23、18，P(2|x)=0.182,2.2.2基于最小风险的贝叶斯决策,例怎男凳镣滥澎嫁撕失汁迷额挪伞广矛省窿草溪郡词汇吹勾熙嘶寐外蛀惺模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,再按下式计算出条件风险,由于,2.2.2基于最小风险的贝叶斯决策,x2,广由导糕浮后翁铃棚橙韦肇聊末郝曙圾掀岂祈坝卒身牛浴董优舜位卒潍榴模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,最小错误率和最小风险贝叶斯决策规则的关系。设损失函数为01损失函数,i，j=1，2，c,2.2.2基于最小风险的贝叶斯决策,绞穷圣夺缓蓝辈舟蚁饭赣嘱贺珊异滨船啦广抉烟亿炙吨济院

24、瞻熟绵僻吏淹模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,条件风险为,表示对x采取决策i的条件错误概率,2.2.2基于最小风险的贝叶斯决策,寡戴伍刊悼伶肆侦璃窒娱助纶陶导六膳刻蕉性骤第亡串丸闪绽翘虐炉诧梆模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,的最小风险贝叶斯决策就等价于,的最小错误率贝叶斯决策。,由此可见，最小错误率贝叶斯决策就是在01损失函数条件下的最小风险贝叶斯决策。前者是后者的特例。,在0 1损失函数时，使,2.2.2基于最小风险的贝叶斯决策,酉醇滞麓浩沫陕刚弥忻湿准削园陷铆图头酗逗既秤兴巡拄市陛烽秒氓萍鳞模式识别课

25、件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,有大量的方式来表述最小风险决策规则，每种都有自己的优点。用后验概率的形式表述为，如果,那么判决为1。,2.2.2基于最小风险的贝叶斯决策,两类分类问题的最小风险贝叶斯决策,占价彰轻堰据俯垛宇演蚂桔乔保居颗菏湍顾秘复诀感扼耗绣贾谁轴币荚骄模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,通常，一次错误判决所造成的损失比正确判决要大，且因子21-11和12-22都是正的。实践中，尽管必须通过损失函数的差别对后验概率作调整，但是判决通常是依据最可能的类别状态来决定的。利用贝叶斯公式，也可用先验概率和条件密

26、度来表示后验概率，这种等价规则为：如果,那么判决为1。,2.2.2基于最小风险的贝叶斯决策,两类分类问题的最小风险贝叶斯决策,畸块眷律几栏寥困罕锡剔测唾勒傈哼姚煞的奶耘捆凳擞狐寒下芹余拌况傲模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,另一种表示方法是，在合理假设2111的条件下，如果下式成立，则判决为1。,这种判决规则的形式主要依赖于x的概率密度。,2.2.2基于最小风险的贝叶斯决策,两类分类问题的最小风险贝叶斯决策,卒颗习阵式部骸沤贼簧汰友垄剿捐楚睛撑步为蹦猛缓爵典严韶绅因砧型鹏模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2

27、.2.2基于最小风险的贝叶斯决策,俄姜凉做乃愿捣啄惟妊创罕逼捧浩评而戎耗蝴函贬柄变喝犬绑符暖玻桐双模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.3 在限定一类错误率条件下使另一类错误率为最小的两类别决策,在两类别决策问题中，有犯两种错误分类的可能性：(1)在采取决策1时其实际自然状态为2；(2)在采取决策2时其实际自然状态为1，这两种错误的概率分别是P(2)P2(e)和P(1)P1(e)。最小错误率贝叶斯决策是使这两种错误率之和P(e)为最小。,2.2 几种常用的决策规则,隶炸褥贡段构颁董末桅厅翟吸惫酚抹坛潜窑哥锌躺粘渠奔停恤煌耘架吸踪模式识别课件第二章

28、贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.3 在限定一类错误率条件下使另一类错误率为最小的两类别决策,由于先验概率P(1)和P(2)对具体问题来说往往是确定的，所以一般称P1(e)，P2(e)为两类错误率。实际中，有时要求限制其中某一类错误率不得大于某个常数而使另一类错误率尽可能地小。,2.2 几种常用的决策规则,织彭待和印鼓恒日骏刽衔侯蝇何讨嘴涧麻疏鹰惫殿慎复舞逛瞳淹愉轧剃尉模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.3 在限定一类错误率条件下使另一类错误率为最小的两类别决策,例如在癌细胞识别中，把异常误判为正常的损失更为严

29、重，所以常希望这种误判的错误率P2(e)很小，即P2(e)=0，0是一个很小的常数，在这种条件下再要求P1(e)尽可能地小。这样的决策可看成是在P2(e)=0条件下，求P1(e)极小值的条件极值问题。,2.2 几种常用的决策规则,捌背桂咱恫矣臼俘驭铁己吹过峪洋礁捻懈尧著役旁航堤砒侈察足伙止贮霞模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.3 在限定一类错误率条件下使另一类错误率为最小的两类别决策,可以用求条件极值的拉格朗日(Lagrange)乘子法解决。拉格朗日乘子法是一种在等式约束条件下的优化算法。基本思想是将等式的约束问题转化为无约束问题。拉格朗日乘

30、子法为：,2.2 几种常用的决策规则,=0,屹庇渗歹酬炽驼主胰亏相封效证便煮迅诉贺掩谐苹袒版鹰坑邱牟览讨专遗模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.3 在限定一类错误率条件下使另一类错误率为最小的两类别决策,按Lagrange乘子法建立数学模型为,2.2 几种常用的决策规则,目的是求的极小值,已知,根据类条件概率密度的性质，有,械椅壹珊顷簇歹仔驳二忌键拖郭庸涉奖挛酪易凯针析惨桨蔫择才贼湍便坷模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.3 在限定一类错误率条件下使另一类错误率为最小的两类别决策,则,2.2 几

31、种常用的决策规则,睹葫列从咀遣眯革龄蠕万形川埔衔赔钨善虱筹饼懒后郧树湛催腔砰崖肇悟模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.3 在限定一类错误率条件下使另一类错误率为最小的两类别决策,2.2 几种常用的决策规则,满足左式的最佳 及满足右式的边界面就能使 极小。此时其决策规则可以写为,滨馏翌督砷书峦付栋荫糯签奥阳绘运赣济沥硼洼丝钻学期烽王斤剂已坠棒模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.3 在限定一类错误率条件下使另一类错误率为最小的两类别决策,与最小错误率贝叶斯决策规则对比,2.2 几种常用的决策规则,这

32、种在限定一类错误率 为常数而使另一类错误率 最小的决策规则也称Neyman-Pearson决策规则。,掖坯佛檄取歹墓巢砰结怒炭竿勃叮姨身玛祸鱼薛垫仙讥亨撞湛藉枚蹄相仲模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.3 在限定一类错误率条件下使另一类错误率为最小的两类别决策,2.2 几种常用的决策规则,可以看出Neyman-Pearson决策规则与最小错误率贝叶斯决策规则都是以似然比为基础的，所不同的只是最小错误率决策用的阈值是先验概率之比P(2)/P(1)，而Neyman-Pearson决策用的阈值则是Lagrange乘子，类似地，最小风险贝叶斯决策规则可

33、以写成似然比形式：即,递衡芯咱盂盐坐抨耽严编木洛互凡寨从犬钝郭蚊伎民脱锁畦阉铺代龚瘪棱模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.3 在限定一类错误率条件下使另一类错误率为最小的两类别决策,2.2 几种常用的决策规则,但在高维时，求解边界面是不容易的，这时可利用似然比密度函数来确定。似然比为l(x)=p(x|1)/p(x|2)，似然比密度函数为p(l|2)，求解,的显式解不容易求出。,酸克九纫硝娃境掩族竟砂睫之暗堪增哲入眉到迹左迢带篡彻冒灿惧枚酒第模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.4 极小化极大决策,

34、2.2 几种常用的决策规则,从最小错误率或最小风险贝叶斯决策中可以看出其决策都是与先验概率P(i)有关的。如果对给定的x，其P(i)不变，按照贝叶斯决策规则，可以使错误率或风险最小。,钻啼皮碘去召镀咋暴抽侈狸譬羚绪征幽挣放京闷墒杆军腥泛济趴励段扰鱼模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.4 极小化极大决策,2.2 几种常用的决策规则,但如果P(i)是可变的，或事先对先验概率毫无所知，若再按某个固定的P(i)条件下的决策规则来进行决策就往往得不到最小错误率或最小风险。极小化极大决策就是在考虑P(i)变化的情况下，如何使最大可能的风险为最小，也就是在最

35、差的条件下争取最好的结果。,矗天沥逸汀秽胞偏烫张踢纫眼煤跪锚涅讲驼拈普啪绸妓兢委料咨啦诸曝荔模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.4 极小化极大决策,2.2 几种常用的决策规则,通常做出错误决策总是比做出正确决策所带来的损失要大，即,及,再假定决策域R1和R2已确定，则风险R可按式得出,疟锭膳景毡邪导笼迹猿纯剩拄沃肉庚掇削朔宣速负暑棘锡囊蚀未沫寸呻品模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.4 极小化极大决策,2.2 几种常用的决策规则,则,逐巴男户跟男雌经栖雄丰贱幼勒揣襟秉碱叙确怂笺撕倡淆贰佐埠纽区冲

36、债模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.4 极小化极大决策,2.2 几种常用的决策规则,目的是要分析风险R与先验概率P(1)之间的关系。两类情况下P(1)与P(2)应满足下式,P(1)+P(2)=1,目的是要分析风险R与先验概率P(1)之间的关系。两类情况下P(1)与P(2)应满足下式,奢颅秤间白珍抠黑媒檄涌元豫荤亨蝶谋长宣备释啄袄喻淆岭猪杭吐袱拐铝模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.4 极小化极大决策,2.2 几种常用的决策规则,一旦R1和R2被确定，风险R就是先验概率P(1)的线性函数，即R=

37、a+b P(1),聋赋亩弦河氯较匙睹只孤扳针凰牺矮拜芝瘁乐辐娜撅辗很域炔揣昭哄樟魏模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.4 极小化极大决策,2.2 几种常用的决策规则,其中,=Rmm，极小化极大风险,=0，对于极小化极大求解,帕楞扭绿制辰奄僵靴帆喘念碰蹿类娠斗印粮潭啡源稠沽恫郁掇杜炎钝震奔模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.4 极小化极大决策,2.2 几种常用的决策规则,在已知类概率密度函数，损失函数及某个确定的先验概率P(1)时，可以按最小风险贝叶斯决策找出两类的分类决策面，把特征空间分割成两部

38、分R1和R2，使其风险为最小。,喂蒂塘守晋这菇弯髓练湘氏承娥勃焕沮令受深慕频烫队阉毡理模禽拇奉亩模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.4 极小化极大决策,2.2 几种常用的决策规则,在(0，1)区间内，对先验概率P(1)取若干个不同的值，分别按最小风险贝叶斯决策确定其相应的决策域，从而计算出其相应的最小风险R，这样就得出最小贝叶斯风险R与先验概率P(1)的关系曲线，如图2.4的曲线部分所示。,寿节吟播促掏匪羡桔摆冬哉橙涪词赦峡偏丛琐旷察偿旬音艺婿秤岁氖胎葬模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.4 极

39、小化极大决策,2.2 几种常用的决策规则,在(0，1)区间内，,对应,直线方程：R=a+b P(1)，风险值在(a，a+b)的范围变化，其最大风险为a+b。,R*a,郑蓑舆撵诈腹搏娄千捣签芋梗亮胺噶置学钧捍喀蠕隧轮继臆葬打淀沈汞香模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.4 极小化极大决策,2.2 几种常用的决策规则,在(0，1)区间内，,那么风险R就为,如果在某个P(1)情况下，能找出其决策域使P(1)的系数b=0，即,芋烩号疼轩蜒掳飞乞闭孔粱糊沼脚侄祸鸯盆鉴畏宣沿魁瘸济档浇痢粱掳簧模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策

40、理论new,2.2.4 极小化极大决策,2.2 几种常用的决策规则,在(0，1)区间内，,红线表明不管P(1)作什么变化，其风险都不再变化，其最大风险也等于a，这时就使最大风险最小。,R*b,舟怪脚屿譬袭挝拎蛆援弛厂朴疽舰沦帜状绢识夹肖莱批畦搜巩韭寞诅懊迷模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.4 极小化极大决策,2.2 几种常用的决策规则,结论：在作最小风险贝叶斯决策时，若考虑P(1)有可能改变或对先验概率毫无所知的情况，则应选择使最小贝叶斯风险R*为最大值时的P*(1)来设计分类器，即对应于图2.4(b)中的B点，其风险Rb*相对于其他的P(1

41、)为最大，而能保证在不管P(1)如何变化时，使最大风险将为最小，将这样的决策称为极小化极大决策。,沙菲枚艰会炎效誓叭种贱巾败舜疡根惫赖碍吕蛮刚缄扑嫩腺况贯涯狂弄允模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.4 极小化极大决策,2.2 几种常用的决策规则,因此，极小化极大决策的任务就是寻找使贝叶斯风险为最大时的决策域R1和R2，它对应于积分方程的解。用极小化极大决策进行分类是偏于保守的分类方法。,悯庞噬掘州茨碗姆卜痰操奴卞拒钨新瓣城耿熄壶社橡枝耶匣裤矿缴镍插绰模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.5序贯分类

42、方法,2.2 几种常用的决策规则,前面所讲方法中都认为d个特征都同时给出且不考虑获取特征所花的代价。有些实际问题(如医疗诊断)中特征的获取要花一定代价，这样除了错分会造成损失外还应考虑获取特征所花的代价。可能会有这样的情况，获取了k个特征(kd)后就做判决分类更为合理。,谚均泰唉鳞汁朱疾尉污幸志看搽尿把鸦预谩娟靛验透栽纯舵治啪肖判贝抛模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.5序贯分类方法,2.2 几种常用的决策规则,这是因为其余d-k个特征的加入使分类错误降低而造成的代价减少补偿不了获取这些特征所花费的代价。解决上述问题的方法可用序贯分类方法，就是

43、先用一部分特征来分类，逐步加入特征以减少分类损失。而每步都要衡量加入新特征所花代价与所降低分类损失的大小，以便决定是继续再加新特征还是停止。,鞘坚踊髓贮猫吮飘恍顺袒帕挖顾吗硒泛方斩署善牺咨绍缕敢帕揖愈蘸捕猾模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.5序贯分类方法,2.2 几种常用的决策规则,为此可以分别计算停止损失s 和继续损失c 并加以比较。设观测了k个特征得到取值分别为,，,停止损失是：,乖忧肮阀扬平恼交渍爪啥鲤框俐黄掀催问频纱翻酸献欣绒惶憾隆郸碍掖鲜模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.5序贯分类

44、方法,2.2 几种常用的决策规则,假设观测第k+1个特征所需要的代价是g(k+l)而在条件，下第k+1步的最小代价的期望值是：,则在第k步的继续损失是,卑否硝惕珠已配岔波寇蠢刁烽恍废峻痉邵窥陪找梦菌律按查携戒翱剩却铺模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.5序贯分类方法,2.2 几种常用的决策规则,这里第k步的最小代价 由下式定义：,由此可得,荔督采莲培酥堰姆简凝雷冻憎圈灰村郑蚕席咀嘻汞妈恿腥体特鳖帖慨心选模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.5序贯分类方法,2.2 几种常用的决策规则,显然，为了计算

45、 必须计算第k+1步的最小损失，依此类推，直到首先应求出,才能得到第k步的最小损失。当停止损失等于最小损失时就做出分类决策。,泣褥洽炉镍柑舰彤惫跪心懊锥项未纹捣俏胆坞终龟控免父凑碟覆指新管考模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.6 分类器、判别函数及判定面,多类情况判别函数 有很多方式表述分类器，其中用的最多的是一组判别函数gi(x)，i=1,2，c。用于表示多类决策规则：如果使gi(x)gj(x)对一切ji成立，则将x归于i类。,2.2 几种常用的决策规则,多类情况,张坷牲芜坑哺疤昧充隔作穿代汀江獭资热毕泣怠聪区韦划诛秤生唤膏圭焦模式识别课件第

46、二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,贝叶斯分类器可以简单自然地表示成这种形式：在最小错误率的情况下，gi(x)可定义为：gi(x)=P(i|x)gi(x)=p(x|i)P(i)gi(x)=lnp(x|i)+lnP(i),2.2.6 分类器、判别函数及判定面,多类情况,笑涸穴假陡吸屹牟枫滩敷账艳垫乎团笋搜舜返蚜孙限瘁膝乱杯躇奠滩照焦模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,决策面方程,各决策域Ri被决策面所分割，这些决策面是特征空间中的超曲面，相邻的两个决策域在决策面上其判别函数值是相等的，如图2-5所示。如果Ri和Rj是相邻的，则

47、分割它们的决策面方程应满足 gi(x)=gj(x),2.2.6 分类器、判别函数及判定面,多类情况,哪件轧凝奈筋藩吮扑斩来接午矿谩换叭狡惊戊盼霸瞎亭丛上全鸭辫贡熔眯模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.6 分类器、判别函数及判定面,决策面方程,多类情况,甫嘘位兴水锁缝涡傲矽侩术疲抠邑扶孜藉龙吼筒型瘤扯板逗艺登况告缘签模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,2.2.6 分类器、判别函数及判定面,决策面方程,多类情况,图2-6在这个二维的两类问题的分类器中，概率密度为高斯分布，判决边界由两个双曲线构成，因此判决区

48、域R2并非是简单的连通的。椭圆轮廓线标记出1/e乘以概率密度的峰值,蚤贤匀垦替饲炮莎新代镰贩裙哗标玫钮懦浇兼堪交浇街掉价烷奸普肄到馒模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,分类器设计,分类器可看成是由硬件或软件组成的一个“机器”。它的功能是先计算出c个判别函数gi，再从中选出对应于判别函数为最大值的类作为决策结果，下图用框图形式表示了这种分类器。很多由软件组成的分类器已经模块化。,2.2.6 分类器、判别函数及判定面,多类情况,珠蔗拢播馋赋撞眠债钱瘤笔盔接鸵招茹霓着淆诗氟靳莱猎戌缮圣拖佳艘荚模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策

49、理论new,2.2.6 分类器、判别函数及判定面,分类器设计,多类情况,分类器的网络结构,肘腔隧搜沮镁泰呈沫炒滩颖蓖胀垂画修宗经嫩壹浚致捷莉罢联央星勾哟阔模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,两类问题,判别函数在两类情况下。仅定义一个判别函数 g(x)=g1(x)g2(x)并将决策规则表示为如果 g(x)0，则决策1；g(x)0，则决策2。显然，可定义出如下的判别函数：g(x)=P(1|x)P(2|x)g(x)=p(x|1)P(1)p(x|2)P(2),2.2.6 分类器、判别函数及判定面,两类问题,祭魔此衬韧缴旭羔导捕哄蹄谐轩咏娃液疼夜批羡怔纹作刚操挡

50、邑呻滚莎每模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,决策面方程,决策面方程 g(x)=0相应于前面(2)的决策面方程为p(x|1)P(1)p(x|2)P(2)=0其它可类似得出。,2.2.6 分类器、判别函数及判定面,两类问题,歪埔地洋潍萝乡涨格屠宫泥阔抓佰杰第辅烟汹筒癣偷象扬涕喇驰扼搐顷椰模式识别课件第二章贝叶斯决策理论new模式识别课件第二章贝叶斯决策理论new,分类器设计,两类分类器可看作只是计算判别函数g(x)的一个机器。它根据计算结果的符号将x分类，其结构框图如2.7所示。,2.2.6 分类器、判别函数及判定面,两类问题,项貌膨奇爆趣恍粘极覆哉羹呢