概率分布、MLE与MAP.pptx

吴金龙,概率分布、MLE&MAP,掷硬币,给定一个不均匀的硬币，如何近似得到花朝上的概率？暴力强掷，然后计算花朝上的比例，以此作为近似值WHY?,掷硬币,记花朝上的概率为（0 1）记随机变量x为掷一次此硬币的结果：x=1：花朝上x=0：数字朝上则有Pr(x=1|)=Pr(x=0|)=1 Bernoulli分布（x=1 或者 x=0）,掷硬币,掷了N次：假设每次掷硬币相互独立，则观察到上面结果的概率为,掷硬币MLE,对上式取对数的Maximum Likelihood Estimation(MLE)上式对求导，并设导数为零：,掷硬币bad MLE,MLE 有时不给力！如果你掷了5次硬币（N=5），5次都是花朝上，此时=1！USE Magic Bayes！为引入先验分布，何种先验？Pr(|x)Pr(x|)Pr(),掷硬币MAP,的共轭先验分布为Beta分布 则的后验分布为（其中 a,b 0，l=N m）的maximum a posteriori(MAP)估计上式对求导，并设导数为零即可=？,掷硬币Binomial分布,已知，重复掷硬币N次，其中m次花朝上的概率？把N次掷硬币看成一个整体，m次花朝上的概率：Binomial分布N=1时，Binomial分布退化为Bernoulli分布,掷硬币 掷骰子,如何近似获得各个面朝上的概率？Still 暴力强掷！,掷骰子MLE&MAP,MLE：MAP：共轭先验分布：Dirichlet分布,掷骰子Multinomial分布,已知每个面朝上的概率值，则掷骰子N次，其中第k面 次朝上的总概率值为？Multinomial分布,Gaussian(Normal)分布,一维情形：高维情形：,Gaussian分布的 MLE,数据集 对应的对数似然值为对均值和方差求导数，设导数值为0，得：,Gaussian分布的 MAP,给定方差，均值的共轭先验分布为Gaussian分布给定均值，1/方差 的共轭先验分布为Wishart/Gamma分布方差和均值都未知，（均值，1/方差）的联合共轭先验分布为 Gaussian-Wishart/Gamma分布,Gaussian分布的优势,具有极好的分析性质如果(x,y)满足Gaussian分布，则 x|y 也满足Gaussian分布如果(x,y)是Gaussian分布，则 x 也满足Gaussian分布在具有相同均值与方差的所有（实值）分布中，Gaussian分布具有最大熵如果给定取值只在有限区间时，什么分布具有最大熵？答案见 Wikipedia一定条件下，多个随机变量的和近似满足Gaussian分布：中心极限定理,中心极限定理,Gaussian分布的劣势,分布的参数数量随着维数D二次方增长限制方差矩阵为特殊形式，如何限制？对角阵(D个参数)，正比于单元阵（1个）低秩矩阵（kD 个）单峰（unimodal）：无法对多峰分布进行很好的近似混合Gaussian分布，对outliers不够robust使用 heavy-tailed 的分布（如 Students t-分布）,周期性分布 von Mises 分布,其他分布,Power law 分布Poisson 分布Exponential 分布Chi-square 分布Geometric 分布Uniform 分布详见 Wikipedia,The End,|_|_|_|_|_|_|_|_|_|,_ _ _ _ _ _ _ _ _ _ _ _ _ _ _,A,