基于统计决策的概率分类法.ppt
《基于统计决策的概率分类法.ppt》由会员分享,可在线阅读,更多相关《基于统计决策的概率分类法.ppt(114页珍藏版)》请在三一办公上搜索。
1、第2章 基于统计决策的概率分类法,2.1 研究对象及相关概率2.2 贝叶斯决策2.3 贝叶斯分类器的错误率2.4 聂曼-皮尔逊决策2.5 概率密度函数的参数估计2.6 概率密度函数的非参数估计2.7 后验概率密度分类的势函数方法,第2章 基于统计决策的概率分类法,获取模式的观察值时,有二种情况:*确定性事件:事物间有确定的因果关系。第三章内容。*随机事件:事物间没有确定的因果关系,观察到的特征具有 统计特性,是一个随机向量。只能利用模式集的统计特性进 行分类,使分类器发生分类错误的概率最小。,1.两类研究对象,2.相关概率,1)概率的定义,设是随机试验的基本空间(所有可能的实验结果或基本事件的
2、全体构成的集合,也称样本空间),A为随机事件,P(A)为定义在所有随机事件组成的集合上的实函数,若P(A)满足:,2.1 研究对象及相关概率,(3)对于两两互斥的事件A1,A2,有,(1)对任一事件A有:0P(A)1。,(2)P()=1,事件的全体,则称函数P(A)为事件A的概率。,设A、B是两个随机事件,且P(B)0,则称,为事件B发生的条件下事件A发生的条件概率。,3)条件概率定义,(1)不可能事件V的概率为零,即P(V)=0。,2)概率的性质,(2-1),(1)概率乘法公式:如果P(B)0,则联合概率 P(AB)=P(B)P(A|B)=P(A)P(B|A)=P(BA),(3)贝叶斯公式:
3、在全概率公式的条件下,若P(B)0,则将(2-2),(2-3)式代入(2-1)式中,有:,(2-4),4)条件概率的三个重要公式:,则对任一事件B有:,(2)全概率公式:设事件A1,A2,An,两两互斥,且,(2-2),(2-3),今后的分类中常用到类概率密度p(X|i):i类的条件概率密度函数,通常也称为i的似然函数。,设随机样本向量X,相关的三个概率:,(2)后验概率P(i|X):相对于先验概率而言。指收到数据X(一批样本)后,根据这批样本提供的信息统计出的i类出现的概率。表示X 属于i类的概率。,5)模式识别中的三个概率,(1)先验概率P(i):根据以前的知识和经验得出的i类样本 出现的
4、概率,与现在无关。,(3)条件概率P(X|i):已知属于i类的样本X,发生某种事件的概率。例对一批得病患者进行一项化验,结果为阳性的概率为95%,1代表得病人群,则X化验为阳性的事件可表示为,P(2|X)表示试验呈阳性的人中,实际没有病的 人的概率。,若用某种方法检测是否患有某病,假设 X 表示“试验反应呈阳性”。则:,例如:一个2类问题,1诊断为患有某病,2诊断为无病,,P(2)表示该地区人无此病的概率。,则:P(1)表示某地区的人患有此病的概率,,P(X|2)表示无病的人群做该试验时反应呈阳性(显示有病)的概率。,值低/高,值低/高,P(X|1)表示患病人群做该试验时反应呈阳性的 概率。,
5、P(1|X)表示试验呈阳性的人中,实际确实有病的 人的概率。,?,?,通过统计资料得到,(4)三者关系:根据(4-4)贝叶斯公式有,(2-5),M:类别数,2.决策规则,2.2.1 最小错误率贝叶斯决策,讨论模式集的分类,目的是确定X属于那一类,所以要看X来自哪类的概率大。在下列三种概率中:先验概率P(i)类(条件)概率密度p(X|i)后验概率P(i|X),采用哪种概率进行分类最合理?,1.问题分析,后验概率P(i|X),2.2 贝叶斯决策,设有M类模式,,(2-6),最小错误率贝叶斯决策规则,虽然后验概率P(i|X)可以提供有效的分类信息,但先验概率P(i)和类概率密度函数p(X|i)从统计
6、资料中容易获得,故用Bayes公式,将后验概率转化为类概率密度函数和先验概率的表示。由:,可知,分母与i无关,即与分类无关,故分类规则又可表示为:,(2-7),几种等价形式:,对两类问题,(2-7)式相当于,可改写为:,统计学中称l12(X)为似然比,为似然比阈值。,对(2-9)式取自然对数,有:,(2-7),(2-8),(2-9)都是最小错误率贝叶斯决策规则的等价形式。,例2.1 假定在细胞识别中,病变细胞的先验概率和正常细胞的先验概率分别为。现有一待识别细胞,其观察值为X,从类条件概率密度发布曲线上查得:,试对细胞X进行分类。,解:方法1 通过后验概率计算。,方法2:利用先验概率和类概率密
7、度计算。,,是正常细胞。,证明:贝叶斯分类器在最小化分类错误率上是最优的。,2.2.2 最小风险贝叶斯决策,1.风险的概念*自动灭火系统:*疾病诊断:,不同的错判造成的损失不同,因此风险不同,两者紧密相连。,考虑到对某一类的错判要比对另一类的错判更为关键,把最小错误率的贝叶斯判决做一些修改,提出了“条件平均风险”的概念。,对M类问题,如果观察样本X被判定属于i类,则条件平均风险ri(X)指将X判为属于i类时造成的平均损失。,2.决策规则,式中,,i 分类判决后指定的判决号;j 样本实际属于的类别号;,将自然属性是j类的样本决策为i类时的是非代价,即损失函数。,每个X 都按条件平均风险最小决策,
8、则总的条件平均风险也最小。总的条件平均风险称为平均风险。,条件平均风险与平均风险的区别,1)多类情况,设有M 类,对于任一X 对应 M个条件平均风险:,对每个X有M种可能的类别划分,X被判决为每一类的条件平均风险分别为r1(X),r2(X),rM(X)。决策规则:,,i=1,2,M,由已知,先验概率和类条件概率根据损失函数,计算条件风险,个条件风险中,最小的条件风险为,,则,说明:用先验概率和条件概率的形式:,p(X)对所有类别一样,不提供分类信息。,,i=1,2,M,决策规则为:,2)两类情况:对样本 X,当X 被判为1类时:,当X 被判为2类时:,(2-15),(2-16),由(2-15)
9、式:,决策规则:,,为阈值。,计算。,计算。,定义损失函数Lij。,判别步骤:,类概率密度函数p(X|i)也称i的似然函数,解:计算 和 得:,例4.2 在细胞识别中,病变细胞和正常细胞的先验概率 分别为,现有一待识别细胞,观察值为X,从类概率密度分布曲线上查得,损失函数分别为L11=0,L21=10,L22=0,L12=1。按最小风险贝叶斯决策分类。,为病变细胞。,损失函数为特殊情况:,3.(0-1)损失最小风险贝叶斯决策,1)多类情况,(0-1)情况下,可改写成:,最小错误率贝叶斯决策,2)两类情况,决策规则为,或从式(2-20)导出似然比形式:,式中:,决策规则:,类似地,,Lij(X)
10、的确定:根据错误造成损失的严重程度,及专家经验确定。,2.2.3 正态分布模式的贝叶斯决策,许多实际的数据集:均值附近分布较多的样本;距均值点越远,样本分布越少。此时正态分布(高斯分布)是一种合理的近似。,正态分布概率模型的优点:*物理上的合理性。*数学上的简单性。,图中为某大学男大学生的身高数据,红线是拟合的密度曲线。可见,其身高应服从正态分布。,1.相关知识概述,1)二次型,二次型中的矩阵A是一个对称矩阵,即。,含义:是一个二次齐次多项式,,3)单变量(一维)的正态分布,密度函数定义为:,曲线如图示:=-1,=0.5;=0,=1;=1,=2.,一维正态曲线的性质:,(2)曲线关于直线 x=
11、对称。,(3)当 x=时,曲线位于最高点。,(4)当x时,曲线上升;当x时,曲线下降.并且当曲线向左、右两边无限延伸时,以x轴为渐近线,向它无限靠近。,(1)曲线在 x 轴的上方,与x轴不相交。,(5)一定时,曲线的形状由确定。越大,曲线越“矮胖”,表示总体的分布越分散;越小。曲线越“瘦高”。表示总体的分布越集中。,4)3规则,即:绝大部分样本都落在了均值附近3的范围内,因此正态密度曲线完全可由均值和方差来确定,常简记为:,p(x),5)多变量(n维)正态随机向量,密度函数定义为:,式中:;,|C|:协方差矩阵C的行列式。,多维正态密度函数完全由它的均值向量 M 和协方差矩阵C所确定,简记为:
12、p(X)N(M,C),为协方差矩阵,是对称正定矩阵,独立元素有 个;,以二维正态密度函数为例:等高线(等密度线)投影到x1ox2面上为椭圆,从原点O到点M 的向量为均值M。椭圆的位置:由均值向量M决定;椭圆的形状:由协方差矩阵C决定。,协方差矩阵Ci:反映样本分布区域的形状;均值向量Mi:表明了区域中心的位置。,2.正态分布的最小错误率贝叶斯决策规则,1)多类情况,具有M 种模式类别的多变量正态密度函数为:,前面介绍的Bayes方法事先必须求出p(X|i),P(i)。而当 p(X|i)呈正态分布时,只需要知道 M 和 C 即可。,每一类模式的分布密度都完全被其均值向量Mi和协方差矩阵Ci所规定
13、,其定义为:,对正态密度函数,为了方便计算,取对数:,对数是单调递增函数,取对数后仍有相对应的分类性能。,最小错误率Bayes决策中,i类的判别函数为,,去掉与i无关的项,得判别函数:,正态分布的最小错误率Bayes决策的判别函数。,(2-25),di(X)为超二次曲面。可见对正态分布模式的Bayes分类器,两类模式之间用一个二次判别界面分开,就可以达到最优的分类效果。,判决规则同前:,2)两类问题,(2)当C1=C2=C时:由式(2-25)有,由此导出判别界面为:,为X的线性函数,是一超平面。当为二维时,判别界面为一直线,如图2.4所示。,(2-28),两类相同,抵消,展开相同,合并,判别界
14、面如图2.5所示。,图2.5 C1=C2=I且先验概率相等,例2.3 设在三维特征空间里,有两类正态分布模式,每类各有4 个样本,分别为,其均值向量和协方差矩阵可用下式估计:,(2-30),(2-31),式中,Ni为类别i中模式的数目,Xij代表在第i类中的第j个模式。两类的先验概率。试确定两类之间的判别界面。,解:,经计算有,因协方差矩阵相等,故(2-28)为其判别式。由于,图中画出判别平面的一部分。,描点:,2.3 贝叶斯分类器的错误率,2.3.1 错误率的概念,错误率:将应属于某一类的模式错分到其他类中的概率。,是衡量分类器性能优劣的重要参数。,定义为,表示n重积分,即整个n维模式空间上
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 统计 决策 概率 分类法

链接地址:https://www.31ppt.com/p-6262638.html