第2章贝叶斯决策论中山大学ppt课件.ppt
Chapter 2 Bayesian Decision Theory 贝叶斯决策论,要点：,引言 贝叶斯决策论(连续性特征)最小误差率分类 分类器与判别函数 正态密度 正态分布的判别函数 贝叶斯决策论(离散性特征)本章小结,实例:鲑鱼与鲈鱼状态变量及概率状态变量可被看作是随机变量抓到鲑鱼与鲈鱼的事件是随机的(均匀先验)(封闭性),2.1 引 言,仅根据先验信息的判定准则 若,则事件w1成立;反之,则w2成立。利用类条件概率密度:及 描述了两种鱼类外观上亮度的差异。,注:假定的类条件概率密度函数图,显示了模式处于类别w1时观察某个特定特征值 x 的概率密度.如果 x 代表了鱼的长度,那么这两条曲线可描述两种鱼的长度区别.概率函数已归一化,因此每条曲线下的面积为1,后验,似然,证据因子及贝叶斯公式,介绍一些基本概念,P(w1,后验=似然 x 先验/证据因子,在先验概率 及图2-1给出的后验概率图.此情况下,假定一个模式具有特征值,那么它属于w2类的概率约为0.08,属于W1的概率约为0.92.在每个x 处的后验概率之和为1.0,基于后验概率的决策准则(x 表示观察值)若 类别判定w1 若 类别判定w2 决策后所导致的错误率 若判定w2 若判定w1,最小错误率 为了追求最小的错误率，采取如下判定准则：若,则判定类别为w1;反之，判为w2。可以证明,依从这样的准则可以获得最小错误率：我们称该准则为“贝叶斯决策准则”。,2.2 贝叶斯决策论-连续性特征,允许利用多于一个的特征允许多于两种类别状态的情形允许有其它行为而不仅是判定类别。引入损失函数，比错误率更具一般性。,概 述,令1,2,c表示一系列类别状态。令1,2,a表示一系列可能采取的行动（或决策）。令(i|j)表示当实际状态为 i 时,采取i 的行为会带来的风险。那么，与行动i 相关联的损失R(i|x)=因此，总风险可表示为：对R(i|x).P(x)的求和。,考察损失函数对判定准则的影响,上述的贝叶斯决策规则：,为了最小化总风险，对所有 计算条件风险,选择行为i，使得R(i|x)最小化。最小化后的总风险值称为贝叶斯风险，记为 它是可获得的最优结果。,两类分类问题,行为1对应类别判决1，2则对应2。为了简化符号，令,那么可得两种行为的损失函数,决策,按照贝叶斯决策规则，为了使得条件风险最小,如果则判为 相反，则判为,结合贝叶斯公式，用先验概率与条件密度来表示 后验概率，等价规则为 如果 则判为 否则，判决为,左图说明，如果引入一个0-1损失或分类损失，那么判别边界将由阈值 决定；而如果损失函数对模式 判为 的惩罚大于反过来情况，将得到较大的阈值 使得R1变小,当损失函数简化到所谓的“对称损失”或“0-1损失”函数,这个损失函数将0损失赋给一个正确的判决，而将一 个单位损失赋给任何一种错误判决，因此所有误判都是 等价的。与这个损失函数对应的风险就是平均误差概率。,2.3 最小误差率分类,极小极大化准则（选讲）,有时我们需要设计在整个先验概率范围内都能很好操作的 分类器。一种合理的设计方法就是使先验概率取任何一种 值时所引起的总风险的最坏情况尽可能小，也就是说最小 化最大可能的风险。,我们以R1表示分类器判为1时的特征空间的区域，同样的 有R2和 2,总风险的形式可表示为,结合公式 与,可以得到,等式表明一旦判别边界确定后，总风险与 成线形关系。如果能找到一个边界使比例为0，那么风险将与先验概率独立。这就是极小极大化求解。,风险,2.4 分类器与判别函数,多类情况,有许多方式来表述模式分类器，用的最多的是一种判别函数 若对于所有的 都有,则分类器将这个特征向量x判给,上图为包含d个输入c个判别函数的系统。确定哪个判别函数值最大，并相应地对输入作分类。,不同情况下的分类器的表示方式,一般风险的情况下为,最小误差概率情况下,其它一些较常见的形式,尽管判别函数可写成各种不同的形式，但是判决规则是相同的。每种判决规则都是将特征空间划分c个判决区域，如果对于所有的 有 那么x属于 要求我 们将x分给。此区域由判决边界来分割，其判决边界即判决 空间中使判决函数值最大的曲面。如图,在这个二维的两类问题的分类器中，概率密度为高斯分布。判别边界由两个双曲面构成，因此判决区域R2并非是简单连通的。椭圆轮廓线标记出1/e乘以概率密度的峰值。,2.5 正态密度,单变量密度函数,单变量正态分布,容易计算其期望值与方差,单变量正态分布大约有95%的区域在 范围内，如图此分布的峰值为,正态分布与熵之间的关系,熵的定义,单位为奈特，若换为,单位为比特。熵是一个非负的量用来描述一种分布中随机选取的样本点的不确定性。可以证明正态分布在所有具有给定均值和方差的分布中具有最大熵。并且，如中心极限定理所述，大量的小的，独立的随机分布的总和等效为高斯分布。,多元密度函数,多元正态密度,其中x是一个d维列向量，是d维均值向量，是 的协方差矩阵，和 分别是其行列式的值和逆。,协方差矩阵 通常是对称的且半正定。我们将严格限定 是正定的。对角线元素 是相应的 方差且非对角线元素 是 和 的协方差。如果 和 统计独立，则。如果所有的非对 角线元素为0，那么p(x)变成了x中各元素的单变量正态密度函数的 内积。,服从正态分布的随机变量的线形组合，不管这些随机变量是独立 还是非独立的，也是一个正态分布。(这是个非常有用的结论）,2.6 正态分布的判别函数,最小误差概率分类可通过判别函数获得,如果已知,那么,情况1：,这种情况发生在各特征统计独立，且每个特征具有相同的 方差时。此时的协方差阵是对角阵，仅仅是 与单位阵I 的乘积。几何上它与样本落于相等大小的超球体聚类中的 情况相对应，第i类的聚类以均值向量 为中心。省略掉其它无关紧要的附加常量，可得到简单的判决函数,展开后我们得到,省略附加常量，等价于线性判决函数,其中且,称 为第 i个方向的阈值或者偏置。,使用线性判别函数的分类器称为“线性机器”。这类分类器有许多有趣的 理论性质，其中一些将在第5章中详细讨论。此处只需注意到一个线性机器的判定面是一些超平面，它们是由两类问题中可获得最大后验概率的 线性方程 来确定。,在以上的例子中，该方程可写为,其中且,此方程定义了一个通过 x0 且与向量 w 正交的超平面。由于，将 Ri 与 Rj 分开的超平面与两中心点的连线垂直。若 则上式右边第二项为零，因此超平面垂直平分两中心点的连线。如图,如果两种分布的协方差矩阵相等且与单位阵成比例，那么它们呈d维球状分布，其判决边界是一个d-1维归一化超平面，垂直于两个中心的连线。在这些一维，二维及三维的例子中，是假设在 的情况下来显示 和判决边界的。,如果所有c类的先验概率 相等，那么 项就成了另一可省略 的附加常量。此种情况下，最优判决规则可简单陈述如下：为将某特征向量 x 归类，通过测量每一个 x 到 c 个均值向量中的 每一个欧氏距离，并将 x 归为离它最近的那一类中。这样一个分类 器被称为“最小距离分类器”。如果每个均值向量被看成是其所属模 式类的一个理想原型或模板，那么本质上是一个模板匹配技术。,如图：随着先验概率的改变，判决边界也随之改变；对于差别较大的离散先验概率而言，判决边界不会落于这些一维,二维 及三维球状高斯分步的中心点之间。,情况2：,第二类简单的情况是所有类的协方差阵都相等，但各自的均值向量 是任意的。几何上，这种情况对应于样本落在相同大小和相同形状 的超椭球体聚类中，第 i类的聚类中心在向量 附近。此时的判决 函数可简化为,将二次型展开后，可再次得到线性判决函数,其中,由于判决函数是线性的，判决边界同样是超平面,其中且,如果先验概率相等，其判决面与均值连线相交于x0点；若不等，最优边界超平面将远离可能性较大的均值。如图,相等但非对称的高斯分布概率密度（由二维平面和三维椭球面表示）及判决区域。判决超平面未必和均值连线垂直正交。,情况3：,在一般的多元正态分布的情况下，每一类的协方差是不同，其判决函数显然也是二次型,其中,在两类问题中，其对应的判决面是超二次曲面。,任意高斯分布导致一般超二次曲面的贝叶斯判决边界。反之，给定任意超二次曲面，就能求出两个高斯分布，其贝叶斯判别边界就是该超二次曲面。它们的方差由常概率密度的围线表示,2.7 贝叶斯决策论-离散特征,到目前为止所讨论的特征向量 x 可以为 d 维欧氏空间中的任意一点。但 是，在许多实际应用中，x中的元素可能是二进制，三进制或者更高的离散整数值，以至于 x 可以被认为是m个离散值 中的一个。在这种情况下，变得奇异化，积分形式,转变为求和形式,其它方面与连续的情况基本相同，这里不一一赘述。,在独立的二值特征下的判决函数为,本章小结,贝叶斯决策的基本思想非常简单。为了最小化风险，总是选择那些能 够最小化条件风险的行为。贝叶斯公式允许我们通过先验概率 和条件密度 来计算后验概率。,若内在的分布为多元的高斯分布，判别边界将是超二次型，其形状与 位置取决于先验概率及该分布的均值与协方差。,
