随机变量的收敛.ppt
1,第五章：随机变量的收敛性,随机样本：IID样本，统计量：对随机样本的概括Y为随机变量，Y的分布称为统计量的采样分布如：样本均值、样本方差、样本中值收敛性：当样本数量n趋向无穷大时，统计量的变化大样本理论、极限定理、渐近理论对统计推断很重要,2,收敛性,主要讨论两种收敛性依概率收敛大数定律：样本均值依概率收敛于分布的期望依分布收敛中心极限定理：样本均值依分布收敛于正态分布,3,例1：依概率收敛,概率的频率解释：随着观测次数n的增加，频率将会逐渐稳定到概率设在一次观测中事件A发生的概率为 如果观测了n次，事件A发生了 次，则当n充分大时，A在次观测中发生的频率 逐渐稳定到概率p。那么不对，若 则对于，总存在,当 时，有 成立但若取,由于即无论N多大,在N以后,总可能存在n,使所以 不可能在通常意义下收敛于p。,4,例2：依分布收敛,考虑随机序列，其中直观：集中在0处，收敛到0但,（Chebyshev不等式）,5,两种收敛的定义,5.1 定义：令 为随机变量序列，X为另一随机变量，用Fn表示Xn的CDF，用F表示X的CDF1、如果对每个，当 时，则Xn依概率收敛于X，记为。2、如果对所有F的连续点t，有则Xn依分布收敛于X，记为。,同教材上,6,两种收敛的定义,当极限分布为点分布时，表示为依概率收敛：依分布收敛：,7,其他收敛,还有一种收敛：均方收敛（L2收敛，converge to X in quadratic mean）对证明概率收敛很有用当极限分布为点分布时，记为对应还有：L1收敛（converge to X in L1）,8,依概率收敛随机变量序列，当对任意，则称随机变量序列 几乎处处依概率收敛到X（converge almost surely to X），记为：几乎处处收敛：比依概率收敛更强,其他收敛,或,或,9,各种收敛之间的关系,点分布，c为实数,L1,almost surely,(L2),反过来不成立！,Quadratic mean,probability,distribution,Point-mass distribution,10,例：伯努利大数定律,设在一次观测中事件A发生的概率为，如果观测了n次，事件A发生了 次，则当n充分大时，A在次观测中发生的频率 逐渐稳定到概率p。即对于，表示当n充分大时，事件发生的频率 与其概率p存在较大偏差的可能性小。,11,例：5.3,令直观：集中在0处，收敛到0依概率收敛：,（Chebyshev不等式）,12,例：续,依分布收敛：令F表示0处的点分布函数，Z表示标准正态分布的随机变量,13,收敛的性质,14,弱大数定律（WLLN）,独立同分布（IID）的随机变量序列，方差，则样本均值 依概率收敛于期望，即对任意称 为 的一致估计（一致性）在定理条件下，当样本数目n无限增加时，随机样本均值将几乎变成一个常量对样本方差呢？依概率收敛于方差,15,样本方差依概率收敛于分布的方差,16,强大数定律（SLLN）,独立同分布（IID）的随机变量序列，方差，则样本均值 几乎处处收敛于期望，即对任意,17,例：大数定律,考虑抛硬币的问题，其中正面向上的概率为p，令 表示单次抛掷的输出（0或1）。因此若共抛掷n次，正面向上的比率为。根据大数定律，但这并不意味着 在数值上等于p而是表示当n很大时，的分布紧围绕p令，若要求，则n至少为多少？解：,18,中心极限定理(Central Limit Theorem,CLT),独立同分布（IID）的随机变量序列,，则样本均值 近似服从期望为 方差为 的正态分布，即其中Z为标准正态分布或也记为无论随机变量X为何种类型的分布，只要满足定理条件，其样本均值就近似服从正态分布。正态分布很重要但近似的程度与原分布有关大样本统计推理的理论基础,19,中心极限定理,中心极限定理试验 http:/:8080/skills/portal/resources/65995/67826/entryFile/swf/zhongxinjixian.htm,20,例：中心极限定理,每个计算机程序的错误的数目为X，现有125个程序，用 表示各个程序中的错误的数目，求 的近似值解：,21,中心极限定理的应用之一二项概率的近似计算,设 是n重贝努里试验中事件A发生的次数，则，对任意，有 当n很大时，直接计算很困难。这时 如果不大（即p0.1，np5）或 不大，则可用Poisson分布来近似计算,22,中心极限定理的应用之一二项概率的近似计算（续）,当p不太接近于0或1时，可根据CLT，用正态分布来近似计算根据CLT，,德莫弗拉普拉斯定理,23,中心极限定理的应用之一二项概率的近似计算（续）,例：已知红黄两种番茄杂交的第二代结红果的植株与结黄果的植株的比率为3:1，现种植杂交种400株，求结黄果植株介于83到117之间的概率。由题意：任意一株杂交种或结红果或结黄果，只有两种可能性，且结黄果的概率 种植杂交种400株，相当于做了400次贝努里试验，记为400株杂交种结黄果的株数，则 当n=400较大时，根据CLT，,24,中心极限定理的应用之一二项概率的近似计算（续）,例：某单位内部有260架电话分机，每个分机有4%的时间要用外线通话。可以认为各个电话分机用不同外线是相互独立的。问：总机需备多少条外线才能以95%的把握保证各个分机在使用外线时不必等候？一个分机使用外线的概率 260个分机中同时使用外线的分机数 设总机确定的最少外线条数为x,则根据CLT，,25,中心极限定理,标准差 通常不知道，可用样本标准差代替，中心极限定理仍成立，即其中,26,中心极限定理,无论随机变量X为何种类型的分布，只要满足定理条件，其样本均值就近似服从正态分布但近似的程度与原分布有关正态近似的程度：Berry-Esseen定理若，则,27,多元分布的中心极限定理,令 为IID随机向量，其中协方差矩阵为，令样本均值向量为则。,，均值向量为,，其中,28,Delta方法,随机变量的变换的中心极限定理假定，且g 可导，则换句话说，,29,令 为IID，其均值和方差（有限）分别为 则根据CLT：假设 则利用Delta方法，有,例：,30,Delta方法,多元变量情况假设 为随机向量序列，且，令 且令 表示 时 的 值，假设 中的元素非0，则,31,例：,令 为IID随机向量，其均值为，方差为令，根据CLT：定义，其中所以,则,32,下节课内容：,作业：Chp5：第2、6题 Chp6：统计推断概述,
