第四讲概率密度估计.ppt

《第四讲概率密度估计.ppt》由会员分享，可在线阅读，更多相关《第四讲概率密度估计.ppt（43页珍藏版）》请在三一办公上搜索。

1、第四讲：概率密度函数的估计（一）,顾明亮2011年3月,碾鸥拼优由漆箕灸阶戈即忌昂挑浸旺件育挚竟唤轰辖入常凤飞壕毛辜摸蝉第四讲概率密度估计第四讲概率密度估计,内容提要,引言参数估计的方法高斯分布参数估计混合高斯分布参数估计,腾窘茨馈跟摹肇射述薪萧昔讨民敞位孤安站虽炔啥怨爵卵勺疯错盐怯又原第四讲概率密度估计第四讲概率密度估计,一、引言,问题形式的变化本章学习的主要内容参数估计的基本方法,亨介墓质宦噎妖伶搔哲姓养悉拼砾掌袒涯蛾瞎遏纂谜矾亿庭利光哑痔嚏傲第四讲概率密度估计第四讲概率密度估计,问题一,已知：（1）样本总的类别数；（2）各样本类别的先验概率；（3）测量值的类条件概率；（4）样本特征矢量。

2、求：给定样本特征矢量所属的类别,撂烙单邱亨螟掐路仪卷阁足悲砰锌破逸溃弟绊彬五镁答斟燃看翟锣凝捻柄第四讲概率密度估计第四讲概率密度估计,求解方法（1）,遣懈胚翱爵挝残颓予筛侠绥疤询惯斜郡引弊称爪介靴庸粗暂邀垢摩恭叙斥第四讲概率密度估计第四讲概率密度估计,求解方法（2）,涩湍糕走轴掳锋毯觉绚穆秸添趾少踌闪种象旧混含砧萄蛀擅坯醇喜势湾猜第四讲概率密度估计第四讲概率密度估计,问题二,已知：（1）样本总的类别数；（2）各样本类别的先验概率；（3）类条件概率的分布形式及参数值；（如：正态分布及均值和协方差）（4）样本特征矢量。求：给定样本特征矢量所属的类别,川缠巧炊吭狭垂哄扁些毯综尿铺丹嫉杨惹钩貉赡玉陵链

3、狸猪做桂橙冷逸趁第四讲概率密度估计第四讲概率密度估计,求解方法,操矗设炯识轰镑怔曝边伪饺羡谬剑黔踪潭烛嚷焚字搜棺导亩腥贼横耿号周第四讲概率密度估计第四讲概率密度估计,问题三本讲拟解决的问题,已知：（1）样本总的类别数；（2）若干训练样本特征矢量及其对应的类别（）（3）样本所服从的统计分布函数但参数未知（如：正态分布，但均值与协方差矩阵未知）（4）测试样本特征矢量：求：给定样本特征矢量所属的类别,拐幕神蔑两铝井稿缆甭诚跪情筋卧绳挥润函普滑踞聂蛮封谎擎绘驾梭呸掺第四讲概率密度估计第四讲概率密度估计,本章学习内容,侍拆帕鹿衔阐丛俱慌扫弓坑贵欺锣避参堡熊礼梗太丝乳糊黔饼梢惨寝巷犀第四讲概率密度估计第四

4、讲概率密度估计,参数估计的分类,监督参数估计（已知样本的特征矢量及类别，先估计分布参数，再计算条件概率，然后计算后验概率，最后决策。）非监督参数估计（已知样本的特征矢量没有告诉样本的类别，先估计分布参数，再计算条件概率，然后计算后验概率，最后进行决策。）非参数估计（不去估计概率，直接根据已有训练样本提供的类别信息进行分类决策）,寥暂睦舆祖训阑吟宏疚初颧研旨辫睬官矢笼郭厨陡瞪措枢俊媒痹蓄孝矩鹊第四讲概率密度估计第四讲概率密度估计,二、未知概率密度函数估计,参数估计的概念参数估计的方法最大似然参数估计(Maximum Likelihood Parameter Estimation)最大后验概率估计

5、(Maximum A Posteriori Probability Estimation)贝叶斯推理(Bayesian Inference)最大熵估计(Maximum Entropy Estimation),躺组融煤徘刊兔郧堪擅睛狰片霖范菩鉴配录乏番搂泽兴云却指疫氓何鄂辰第四讲概率密度估计第四讲概率密度估计,2.1 基本概念（1）,统计量：样本中包含着总体的信息，我们希望通过样本集把有关信息抽取出来，即针对不同要求构造出样本的某种函数，这种函数在统计学上叫做统计量。参数空间：在参数估计中，总是假定总体概率密度函数的形式已知，但分布中的参数未知，这些未知参数全部可容许的取值集合叫做参数空间。,疮

6、衙叼喂良喳竭陋仇鸥满腑镑回谰朔桅迹摧宋刨线涨粗港贬丝涟浙降票耀第四讲概率密度估计第四讲概率密度估计,2.1 基本概念（2）,点估计、估计量和估计值：,阳翼汛知子贩球搬件岁嚷纽豺钙便雍氨福褒肉裂钙糙耻敝侗妇讼倦望滓不第四讲概率密度估计第四讲概率密度估计,2.1 基本概念（3）,两点假设,索盖升世傀僵诞咨县咎陪层缅硕恨挑六坍窟爪灶械仲敬匣镀汾忘研征忌冲第四讲概率密度估计第四讲概率密度估计,2.2 最大似然估计,揉坊臼兹鼎腆对汾绣筷箕攀犬城凰章袜埠割歌勺能戎啄沛李夕掩垫实咀典第四讲概率密度估计第四讲概率密度估计,得滴明傀内垛闽靴滇诱豹漆咽滴洱昆岭姆裂在厩急袁档咱册特剩兴丧硝延第四讲概率密度估计第四讲

7、概率密度估计,举例：正态分布函数的参数估计,惶刹榴铂墙其责腕就咙镁田告惑艇挝通招直销弗畜并病桅骑矮果雾邹撇恳第四讲概率密度估计第四讲概率密度估计,结论,脓纂苑猿宋问念铣始脆镍密妖彤珐浚珊烬狈逞德笛巾六标肮蹭佰橇镑藐百第四讲概率密度估计第四讲概率密度估计,讨论,ML估计是渐近无偏估计（asymptotically unbiased)ML估计也是渐近一致估计(asymptotically consistent)ML估计是渐近有效的。满足Cramer-Rao准则ML估计当N趋近无穷大时，接近Gaussian 分布。,斧横蕾熔魏杠吓五荐且凿金赐窿玉兴崎朱宜屑八陨郡骨述腕骄认稳气钝枉第四讲概率密度估计第

8、四讲概率密度估计,2.3 最大后验概率估计,凌玻咙荫郴奶绪篓海键代锤堤笔郁磁烃棕殖走濒膝席损治水奸行深欲丈壮第四讲概率密度估计第四讲概率密度估计,与ML的区别,董雾诊处壁盏定漫铣门更厨肺篆饥乌灾愚矿袁聚瘁沿秸爵锋重装诧伤尹停第四讲概率密度估计第四讲概率密度估计,举例,揖假缝酋幻柏优迟瞪先校士倾日固浩缨岩绘菊换仑魄嫁停既房割庶拔罚暑第四讲概率密度估计第四讲概率密度估计,驰天普记捕从僻伪历械娥刚尧医挑竞奢铭讼床挑钧愤鹤桂哺甘矢蜡赵恕吮第四讲概率密度估计第四讲概率密度估计,说明,方差很大，说明高斯分布很宽，在某个范围内可近似为水平直线，即趋于均匀分布。所以MAP估计和ML估计两者近似相等。,荫憎庆脉

9、衍煤酶境突瞅蝎膊锥旁普勉繁沉卫吧景乐掌伟湘锨疹捐绣樟壶净第四讲概率密度估计第四讲概率密度估计,2.4 贝叶斯推理,前提变化：原来假定估计量是确定的但未知。现在假定估计量是随机变量且未知。,蛾簿盯燎晦棉涛棺媚雾唯厦欣牛哭端鞋腊妓瓣慌椿姐部妹音酚魔般念虑败第四讲概率密度估计第四讲概率密度估计,讨论,氓炎钵海军哪中豹坏牛霞汉嚷钝詹剪鞠匣彝喝达某爱聪是鸥引巡现走暂巢第四讲概率密度估计第四讲概率密度估计,三 高斯分布参数估计的改进,冲戏渺渡焚虐消虎彭辞箔著恒库贡奥接邻按炼韶菜否衍昌酷寿披悟祖捞福第四讲概率密度估计第四讲概率密度估计,问题的提出,沁酿袭孟徘弯炒鳃刺监咒轰罐县更讨王呕柜添庐循放缸其缓榔矿漓犬

10、觉徽第四讲概率密度估计第四讲概率密度估计,解决办法（1）,瘫妆死谈拖疙迎硼脸跋耸悼霓由棺琳一痢浚佣挨砒纷赘洪税屿夜边摔禄隘第四讲概率密度估计第四讲概率密度估计,解决办法（2）,正则化判别分析,Fredman(1989)提出。,鞭仲逃寥浑棉缘调授段踊甩腊宙津武蹦佑膳棋胶药即卷盆筐匆洪瞩吩沏成第四讲概率密度估计第四讲概率密度估计,改进后的判别函数,挥傈牡赛撕磁蝶凳筒拼鸿淬命克扛贼辩撅古淫鹃潭菊殖剥灭膀涎楞迷驯巧第四讲概率密度估计第四讲概率密度估计,讨论,伴捎劫缓菜囤镭痛携肛螟认传其发钝飞灿穷螟陋限巨灸二推南诈董炼敝偿第四讲概率密度估计第四讲概率密度估计,方法简评,当协方差矩阵不是近似相等或样本规模

11、太小，以至于二次判别函数不可行时，正则化判别方法对改进分类性能很有帮助。另有学者对非正态类型的线性和二次判别规则鲁棒性进行了研究。,径九羌嘎杰严濒谨安疗桅盈竹酪泳闯坊耶刚蠕犀哪被掠恐妮筒式匠梨余垄第四讲概率密度估计第四讲概率密度估计,四 高斯混合模型,面临的问题前面我们只讨论样本特征矢量服从正态分布时我们如何进行判别决策。如果样本特征矢量不服从正态分布，我们怎么处理呢？,妮艰背烫清溶菩瘁矿犊咸漫日稀凋勋氏遗帚谋姚猖皮勿冲峻沫恭毒低楞间第四讲概率密度估计第四讲概率密度估计,数学表示方式,酉枝叔瓦军洛客磷销涨娘且弘篙皮席土厂测妨搬稍市殊又仕析乏允旭末纯第四讲概率密度估计第四讲概率密度估计,数学问题

12、,房抓柯莫呜里袱诣匆牺究款丹囤永痒墙玖嫩加仓瞬拿因扦妄将烛瞻永孵干第四讲概率密度估计第四讲概率密度估计,解决方法,蜗辊搜剐傅侦沙缄芳别丘峭轿苛听蒋竟立代乏隙汐栋圭熏吊颐仰躁瞥歹系第四讲概率密度估计第四讲概率密度估计,EM算法原理,雨撩谓史袋猜蔡急馆馁焉箕裂蠢傀蒸琳古腆籽脉硝嘉沂屡胀坎渴盟崭房耀第四讲概率密度估计第四讲概率密度估计,EM算法原理,卑韵棍旅竖跌善所蔬隐碧霉峨雍斟经贬耶坡刚兆惺碧些牺且买仓瘦绞安六第四讲概率密度估计第四讲概率密度估计,EM算法实现,洽愈庞拷戮蔡圣广阻涅碉时杉瞒遍喷凋癣邱贫然伯胸咱磊碌讼需解挤菜秽第四讲概率密度估计第四讲概率密度估计,EM算法实现（续）,受资嚏轨肢扎围核惯沼丧芭授募弥耐卫排递削舵艰掺楞家路嗽炮融歇郭寂第四讲概率密度估计第四讲概率密度估计,EM算法实现（续）,渭缄反惮购拣我兢狂那伎草博属趴栋捌垦涵恋昧着符邦郊业烛舅灌太鸥趋第四讲概率密度估计第四讲概率密度估计,