第四部分不等式.ppt

1,第四章：不等式,不等式有些量很难计算，不等式可以对这些量给出一个界不等式也是下一章讨论收敛理论的基础关于概率的不等式Markov不等式Chebyshev不等式Hoeffding不等式关于期望的不等式Cauchy-Schwarze不等式Jensen不等式,2,Markov不等式,4.1 定理（Markov不等式）：令X为非负随机变量且假设 存在，则对任意，有当，当 k1时，表示随机变量的取值离不会期望不会太远（离期望较远的概率很小，小于）当 时，上式总是成立表示（）,3,4,Markov不等式,将X换成满足条件的r(X)，上述结论也成立！当？Chebyshev不等式：Markov不等式的应用,5,Chebyshev不等式,4.2 定理（Chebyshev不等式）：令则其中 X在其期望附近（t邻域）的概率与方差 有关 越大，随机变量远离期望的概率越大（方差用于度量随机变量围绕均值的散布程度）越小，随机变量在期望附近，远离期望的概率越小可用来证明样本均值会在其期望附件（样本数越多越接近，因为样本方差随n增大而减小）,6,7,Chebyshev不等式,X在其期望附近（t邻域）的概率与方差 有关另外一个变形：k=2？k=3？高斯分布为0.9997这个界很松，因为Chebyshev不等式没有限定分布的形式，所以应用广泛对某些具体的分布来说，可以得到更紧致的界，如高斯分布,Mills inequality,8,Chebyshev不等式,4.3例：假设我们在一个有n个测试样本的测试集上测试一个预测方法（以神经网络为例）。若预测错误置 预测正确则置。则 为观测到的错误率。每个 可视为有未知均值p的Bernoulli分布。我们想知道真正的错误率p。直观地，我们希望 接近p。但 有多大可能不在p的邻域内？由于对任意p有，所以当 时，边界为0.0625。,9,Hoeffding不等式,作用与Chebyshev不等式类似，但区间更紧致（增加了独立性约束）4.4 定理（Hoeffding不等式）：设 相互独立，且。令，则对任意4.5 定理（Hoeffding不等式）：令 则对任意，有其中,10,11,Hoeffding不等式,4.6 例：令则根据Chebyshev不等式，有根据Hoeffding不等式，有结果远远小于0.0625。,12,Hoeffding不等式,可用来计算二项分布中的参数p的置信区间对给定的，令则根据Hoeffding不等式令，则则。称C为 置信区间。,13,Cauchy-Schwarze不等式,4.8 定理（Cauchy-Schwarze不等式）：若X、Y是有限方差，则例：协方差不等式,14,Jensen不等式,4.9 定理（Jensen不等式）：如果g是凸的，则如果g是凹的，则,15,16,凸函数,如果对所有的，满足则函数 为凸函数（convex），为凹函数（concave）凸：装水，如凹：溢出水，如,17,凸函数,几何意义连接(a,g(a),(b,g(b)两点的弦，永远在 y=g(x)之上 凸光滑函数上任一点的切线在曲线的下方,x,18,下节课内容：随机变量序列的收敛性,随机样本：IID样本，统计量：对随机样本概述Y为随机变量，Y的分布称为统计量的采样分布如：样本均值、样本方差、样本中值收敛性：当样本数量n趋向无穷大时，统计量的变化大样本理论、极限定理、渐近理论,