非参数统计非参数密度估计课件.ppt

第八章 非参数密度估计,8.1 非参数密度估计,直方图是最基本的非参数密度估计。假定有数据x1,x2,xn, 将它由小到大排序，得到数据覆盖的区间(a, b)，对该区间等间距地分为k组，记为I1,I2,Ik，计算Ii中的频率ni/n，则密度估计为：,其中，hn是归一化参数，表示每组的组距，称为带宽（窗宽）。注意：针对连续型的总体X.,鲑鱼和鲈鱼的身长(260条),例8.1,鲈鱼比鲑鱼的身长要长。,hist(A,1, 20),推广直方图的密度函数定义。XRd,1）若V很小，密度值局部变化很大，呈现多峰不稳定的特点；2）若V较大，从而使估计过于平滑。如何在稳定与过度平滑之间寻找平衡？方法（1）固定体积不变；（2）固定ni不变；核估计和k-近邻估计。,8.2 核密度估计,设区域R是Rd空间上的d维立方体, 其体积为Vn, h是R的边长, 对任意的x=x1,x2,xn, 定义x的邻域函数:,落入x邻域的样本数,称为Parzen窗密度估计,核密度估计的定义,定义8.1,假设数据x1,x2,xn取自连续分布p(x), 定义核密度估计,只要核函数满足:,本节主要讲一维的密度估计。,常用核函数,以高斯核函数为例,用S-Plus编程计算密度估计值.,1) 调用数据文件 A-read.table(E:各种电子课件非参数统计datanewfish.txt,header=T,sep=,),2) 建立高斯函数文件Ga-function(x,h,A)(1/260*h)*sum(1/sqrt(2*pi)*exp(-0.5*(x-A,11:260)/h)2),以高斯核函数为例,3) 调用函数文件 source(d:S文件Ga.s),4) 求函数值 z z1 0.01347425,5) 画图 x z for(i in 1:52) zi plot(x,z,type=l),带宽对估计量的影响,h=1,h=2,h=0.2,Parzen窗函数为核函数,h=5,当带宽h=0.2时,密度函数曲线比较粗糙,噪声很多;当带宽h=1时,密度函数曲线比较平滑,较为理想;而带宽h=5时,密度函数曲线最平滑的,但信息损失很多;如何选择合适的带宽,是核函数密度估计的关键.,带宽对估计量的影响,考虑估计的均方误差.,均方误差,分析:带宽hn越小, 核估计的偏差越小, 但方差会增大.带宽hn越大, 核估计的偏差大, 但方差会变小.说明hn的变化, 不可能同时使核估计的偏差和方差变小.只有同时使两者达到一种平衡.实际上, h的选取要根据数据和密度估计的情况不断调整.,模式分类问题,一些实际问题:鉴定某河流的污染程度;通过检查某些指标, 诊断某人是否得了某种疾病;设备的故障诊断问题;,1. 假设1鲑鱼， 2鲈鱼，它们的先验概率为：,应用密度估计对数据进行分类,2. 分别估计鲑鱼和鲈鱼的概率密度：,3. 归类原则：,(贝叶斯公式),分类问题,分类问题,优缺点评价：样本量较大，才能保证一定的精度；分类精度的评价;分类方法.,k-近邻估计,在核密度估计方法的基础上，让体积随样本点的密集性发生改变。当样本点密集处，选取体积小；当样本点稀疏时，选取体积大。,程序实现,1. 产生函数R(x,k)knear-function(A,x,k) na-nrow(A) or-1:na dis-NULL for(i in 1:na) dis-c(dis,(abs(x-Ai,1) ra-rank(dis) find.k-orrak+1 knear-max(abs(Afind.k,1-x) return(knear),程序实现,2. k-近邻密度估计x-seq(min(A,1),max(A,1),length=50)z-rep(0,50)for(i in 1:50)zi-5/(260*knear(A,xi,5) plot(x,z,type=l),图形显示,k=5,k=3,图形显示,k=10,k=40,k-近邻估计,思考：,k-近邻估计应用于分类,k-近邻估计方法分类,k=3,一维情形:,k-近邻估计方法分类,二维情形:,二维情形的程序,knear12-function(A1,x,y,k) na-nrow(A1) or-1:na dis-NULL for(i in 1:na) dis-c(dis,(x-A1i,1)2+(y-A1i,2)2)0.5) ra-rank(dis) find.k-orrak+1 knear12-max(A1find.k,1-x)2+(A1find.k,2-y)2)0.5) return(knear12),