非参数统计一元非参数回归课件.ppt

第九章 一元非参数回归,一元非线性回归模型:给定一组观测值(xi, yi)，i=1,2,n,概 述,可以采用多项式回归.,概 述,9.1 核回归光滑模型,局部加权最小二乘估计:,如果取核函数,9.1 核回归光滑模型,利用核密度估计的基本思想，估计yi的权重。,加权平均核,hn小, yi的权重小, 反之, 则越大。,9.1 核回归曲线,Nadaraya-Watson核估计为：,Gasser-Muller核估计为：,9.1 核回归曲线,Nadaraya-Watson核估计为：,以鲑鱼和鲈鱼为例，绘制核回归曲线如下。,M1-function(x,h)sum(y1:260*exp(-0.5*(xx1:260-x)/h)2) /sum(exp(-0.5*(xx1:260-x)/h)2),x-seq(min(xx),max(y),length=50), z=rep(0,50)for(i in 1:50)zi-M1(xi,0.2)plot(xx,y)lines(x,z),核回归估计范例,h=0.2,h=0.8,9.2 局部线性回归,主要避免边界估计不精确. 在x的邻域用线性函数取代yi的平均.,特别, 如果K(.)是-1,1上的均匀分布, 则,9.2 局部多项式回归,在局部线性函数回归的基础上,确定的矩阵表达式:,9.3 Lowess稳健回归,异常点可能导致线性回归模型最小二乘估计发生偏差, 改进局部线性拟合方法来降低异常点对估计的影响. 基本思想: 首先局部线性回归拟合, 其次对权数进行平滑.,算法步骤:,9.4 k-近邻回归,与k-近邻核密度估计类似，基本思想是用距离x最近的k个样本点处yi的值来估计当前点的取值,并确定权值.,一. k-近邻估计,特点：比核密度回归简单。,9.4 k-近邻回归,knearhg-function(A,x,k) na-nrow(A) or-1:na dis-NULL for(i in 1:na) dis-c(dis,(abs(x-Ai,1) ra-rank(dis) find.k-orrak+1 knearhg-sum(Afind.k,2)/k return(knearhg),9.4 k-近邻回归,k=3,k=10,9.4 k-近邻回归,二. k-近邻核估计,9.4 k-近邻回归,knearm-function(A,x,k) na-nrow(A) or-1:na dis-NULL for(i in 1:na) dis-c(dis,(abs(x-Ai,1) ra-rank(dis) find.k-orrak+1 R-max(abs(x-Afind.k,1) knearm-sum(A,21:260*exp(-0.5*(A,11:260-x)/R)2)/sum(exp(-0.5*(A,11:260-x)/R)2) return(knearm),9.4 k-近邻回归,k=5,k=2,9.4 k-近邻回归,k=15,9.5 正交序列回归,前面讲的三种情况回归是局部的思想. 预测只能是局部的, 全局估计法效果比较好的是正交多项式回归.,正交基的概念:,9.5 正交序列回归,回归模型近似为:,进行最小二乘估计:,9.5 正交序列回归,区间-1,1上的Legendre多项式正交基:,9.5 正交序列回归,例9.7 对摩托车数据采用Legendre多项式正交基建立回归模型, 效果图如下. 注意: 对解释变量施行变换:,9.5 正交序列回归,