第6章统计决策与贝叶斯推断课件.pptx

统计学家瓦尔德(A.Wald)把关于假设检验和参数估计的经典统计理论加以概括，将不确定意义下的决策科学也包括在统计学范围之内，于1939年创立了统计决策理论，该理论弥补了过去统计理论的缺陷。,统计决策的显著特点是：统计决策建立在统计分析和统计预测的基础 上，是一种定量决策。统计决策是在不确定情况下，应用概率来进行决策的计算和分析，是一种概率决策。,6.1 统计决策,决策问题的三个基本要素,状态集,行动集行动空间,损失函数,依统计决策论的观点，对决策有用的信息,先验信息,样本信息,决策问题的分类,无数据（无样本信息）决策问题,统计决策问题,贝叶斯决策问题,一、基本概念,1、损失函数,描述当未知量处于状态 而采取行动 时所引起的损失，记为,线性损失函数,一、基本概念,2、决策函数,由样本空间 到行动空间 的可测映射 称为决策函数。,3、风险函数,称为决策函数 的风险函数。,设 是一个决策函数，则损失函数 关于样本分布 的数学期望,平均损失愈小，决策函数愈好。,风险函数 描述在未知量处于状态 而采取决策 时所蒙受的平均损失。,二、常用的决策准则,1、一致最优决策准则,则称 为决策函数类 的一致最小风险决策函数，或称为一致最优决策函数。,定义 设 表示定义在样本空间 上取值于行 动空间 的某一决策函数类，若存在一个决 策函数，使得对任意，都有,2、最小最大（Minimax）决策准则,则称 为该统计决策问题的最小最大决策函数，相应的风险称为最小最大风险。,定义 对于一个统计决策问题，设 表示定义 在样本空间 上取值于行动空间 的某一决策 函数类。若有决策函数，使得,3、贝叶斯决策准则,先验信息与先验分布,无论是在统计决策问题还是在统计推断问题中总会包含未知量。为了对 作统计决策或者作统计推断，样本信息是必不可少的，因为它包含 的最新信息。除此之外，一些非样本信息也可用于统计决策和统计推断。这些非样本信息主要来源于经验或历史资料。由于此类经验或历史资料大多存在于（获取样本的）试验之前，故称这些非样本信息为先验信息。,统计学中有两个主要学派：经典（频率）学派与贝叶斯学派。经典学派认为 是未知参数；贝叶斯学派认为 是随机变量，应该用一个概率分布去描述 的未知状况。这个概率分布在抽样之前就已存在，它是关于 的先验信息的概率陈述。这个概率分布就称为先验分布，用 来表示。,贝叶斯公式与后验分布,称 为 的后验分布。,先验风险准则与后验风险准则,定义1：在给定的统计决策问题中，设 为决策函数 的风险函数，为 的先验分布，则平均风险,称为决策 的贝叶斯风险。若在决策函数类 中存在，使得,则称 为决策函数类 在贝叶斯（先验）风险准则下的最优决策函数，简称贝叶斯决策函数或贝叶斯解。,定义2：在给定的统计决策问题中，设 为决策函数 的损失函数，为 的后验分布，则条件期望风险,称为决策函数 的贝叶斯后验风险。若在决策函数类 中存在，使得,则称 为决策函数类 在贝叶斯后验风险准则下的最优决策函数，或称其为贝叶斯后验型决策函数。,例6.1 一位收藏家拟收购一幅名画，这幅画标价为5000元。若这幅画是真品，则值10000元；若是赝品，则一文不值。此外，买下一幅假画或者没有买下一幅真画都会损害这位收藏家的名誉，其收益情况如下表,现在，这位收藏家需要决定是买还是不买这幅画？,(1)如果收藏家有以下三种决策可供选择：以概率0.5买下这幅画；：请一位鉴赏家进行鉴定（已知该鉴赏家以概率0.95 识别一幅真画，以概率0.7识别一幅假画），如果鉴赏家鉴定为真品就买下这幅画；：肯定不买那么，什么是这位收藏家的最小最大决策？,（2）如果根据卖画者以往的资料得知，发生的概率为0.75，发生的概率为0.25，那么这位收藏家是否应买下这幅画呢？,（3）在（2）的条件下，这位收藏家为稳妥起见，聘请一位鉴赏家做鉴定。已知鉴赏家以概率0.95识别一幅真画，以概率0.7识别一幅假画。如果鉴赏家说这幅画是真品，那么这位收藏家是否应买下这幅画呢？,这是一个决策问题，状态集，为真品，为赝品,行动集 表示“买”，表示“不买”，损失函数 用矩阵可表示为,统计决策中所说的损失可以理解为“该赚到而没有赚到的钱”，“不该亏而亏损的钱”或者“不该支付而支付的钱”。,解：（1）对，,对，,对，,计算结果表明，收藏家的最小最大决策为，即如果鉴赏家鉴定为真品就买下这幅画，这一决策的最小最大风险为1800元。,（2）由题意知，的先验分布 为：,(3)引入随机变量,由题意知：,的先验分布 为，由贝叶斯公式可得 的后验分布,这样样本空间，行动空间，所以决策函数只有以下4个,这样本值 时，这些决策函数的贝叶斯后验风险分别是：,在 时，这些决策函数的贝叶斯后风险分别是：,可见在贝叶斯风险准则下，是最优决策函数，换言之，当鉴定家说这幅画是真品时，这位收藏家应买下这幅画。下面计算（3）中那些决策函数的贝叶斯风险，先算 的边缘分布：,从而，,由此可见，在贝叶斯风险准则下的最优决策函数仍是，在两种不同风险准则下得出相同的最优决策函数，其理论依据是定理6.1.1.,定理6.1.1 对给定的统计决策问题（含给定的先验分布）和决策函数类，若贝叶斯风险满足条件,则贝叶斯决策函数 与贝叶斯后验型决策函数 等价。,6.2 贝叶斯推断,在经典统计学中，总体 的分布函数用 表示，,其中 表示未知参数，表示参数空间。,改写为,定义6.1 若函数 和 相比仅差一个常数因子，则称 为 的核，记为,例如,贝叶斯学派认为，的后验分布 集先验信息和样本信息于一身，包含了 的所有可供利用的信息，所以有关 的点估计，区间估计和假设检验等统计推断都要基于后验分布来进行。,样本分布 其中 为总体 的条件概率密度。,一、贝叶斯估计,1、点估计,贝叶斯估计量就是贝叶斯决策函数（贝叶斯解）,则称 为 的贝叶斯估计量,定理 若损失函数为，且，则 的贝叶斯估计为,其中 为 的后验概率密度。,注：由定理可知，当使用平方损失函数 时，的贝叶斯估计为（或），即 的后验分布的期望，故称这种估计为后验期望 估计。,例1 设总体 的分布为，其中未知量 为随机变量，且，为来自 总体 的样本值，求 的贝叶斯估计。,解：因为 的后验概率密度的核是,所以，的贝叶斯估计为,可见，在样本 的条件下，的条件分布为,条件（1）、（2）表明，D集中了后验概率密度取值尽可能大的点，因此 的最大后验密度可信区间就是在同一可信概率下长度最短的区间。,2、区间估计,定义 设参数 的后验分布为，对给定的样本 和概率，若存在区域D满足下列条件：,（1）,例2 设 为来自正态分布 的样本，其中 已知。又设 的先验分布为正态分布，其中 为已知，求 的 可信区间。,解：因为 的后验概率密度,其中,可见 是正态分布，因此对给定的，查得标准正态分布 的上侧分位数，使,于是，的 最大后验可信区间是。,利用后验分布，分别计算假设 与 的后验概率。,3、贝叶斯假设检验,当后验概率比 时接受；当 时拒绝；当 时，则不宜匆忙做判断，需进一步抽样或搜集更多的先验信息。,例3 设从正态总体 中随机地抽取了一个容量为10的样本，算得样本均值，又设 的先验分布为正态分布，现在检验如下假设,解 由例2可知，的后验分布仍为正态分布，且,其中,因而假设 与 的后验概率分别为,两后验概率之比,故拒绝，即认为正态均值大于1。,贝叶斯检验的特点：,（1）简单易行，无需选择检验统计量，确定抽样分布；（2）无需事先给定显著水平，确定检验问题的拒绝域；（3）容易推广到多重假设检验场合。,二、先验分布的选取,从前面的介绍可以看到，贝叶斯推断是基于后验分布的推断，而根据贝叶斯公式，后验分布又有赖于先验分布的选取，选择不同的分布作为 的先验分布将会影响 的后验分布，从而将影响到贝叶斯推断的结果，所以先验分布的选取对于贝叶斯推断是至关重要的。,1、贝叶斯假设,贝叶斯学派认为，如果没有以往的任何信息来确定未知量 的先验分布，那么就用均匀分布作为它的先验分布，这种确定先验分布的原则称为贝叶斯假设。按此原则选取的先验分布也称为无信息先验分布。,2、共轭先验分布,后验分布在贝叶斯推断中起着重要作用，但有时计算后验分布是一件比较复杂的事情。为了能够简便地计算未知量 的后验分布，引入共轭先验分布的概念。,定义 设总体 的分布函数为，样本 对 的条件分布为，即样本分布，的先验分布为，若由 和 决定的后验分布 与 是同一个类型，则称先验分布 为 的共轭先验分布。,寻找共轭先验分布的步骤：,（1）先写出样本分布 似然，,（2）选取与 具有相同核的分布作为先验分布，这个分布往往就是共轭先验分布。,Thanks！,9、有时候读书是一种巧妙地避开思考的方法。23.4.423.4.4Tuesday,April 4,202310、阅读一切好书如同和过去最杰出的人谈话。00:05:5600:05:5600:054/4/2023 12:05:56 AM11、越是没有本领的就越加自命不凡。23.4.400:05:5600:05Apr-234-Apr-2312、越是无能的人，越喜欢挑剔别人的错儿。00:05:5600:05:5600:05Tuesday,April 4,202313、知人者智，自知者明。胜人者有力，自胜者强。23.4.423.4.400:05:5600:05:56April 4,202314、意志坚强的人能把世界放在手中像泥块一样任意揉捏。2023年4月4日星期二上午12时5分56秒00:05:5623.4.415、最具挑战性的挑战莫过于提升自我。2023年4月上午12时5分23.4.400:05April 4,202316、业余生活要有意义，不要越轨。2023年4月4日星期二12时5分56秒00:05:564 April 202317、一个人即使已登上顶峰，也仍要自强不息。上午12时5分56秒上午12时5分00:05:5623.4.4,谢谢观赏 You made my day!,我们，还在路上,