非线性时间序列第六章.docx

第六章 时间序列的平滑6.1 引论 上一章我们引进非参数函数估计的基本概念，现在将它应用到时间序列别的重要平滑问题上. 对估计慢变化时间趋势，平滑技术是有用的图示工具，它产生了时域平滑（§6.2）. 对将来事件和与之相联系的现在与过去变量之间的关系的非参数统计推断导致了§6.3的状态域平滑. §6.4 引入的样条方法是对§6.3引入的局部多项式方法的有用替代. 这此方法能够容易地推广到时间序列的条件方差（波动性）的估计，甚至整个条件分布的估计，参阅§6.5.6.2 时域平滑6.2.1 趋势和季节分量 分析时间序列的第一步是画数据图. 这种方法使得人们可以从视觉上检查一个时间序列是否像一个平稳随机过程. 如果观察到趋势或季节分量，在分析时间序列之前通常要将它们分离开来. 假定时间序列能够分解成 ， （6.1）其中表示慢变函数，称为“趋势分量”，是周期函数，称为“季节分量”，是随机分量，它被假定是零均值的平稳序列. 在使用这种分解之前，可以先用方差稳定变换或Box-Cox变换. 这类幂变换有如下以参数为指标的形式 （6.2）或具有在点处连续的变换形式.这类变换由Box和Cox（1964）给出. 注意，由在幂变换中数据必须是非负的，因此，在使用幂变换之前，可能必须先实施平移变换. 我们的目的是估计和提取确定性分量和. 我们希望残差分量是平稳的，且能够用线性和非线性技术做进一步的分析. 通过推广Box和Jenkins（1970）而发展的一个替代方法是对时间序列重复应用差分算子，直到被差分的序列表现为平稳为止. 这时，被差分的序列可以进一步平衡时间序列技术来处理. 作为说明Box和Jenkins方法的一个例子，我们先取S&P500指数的对数变换，然后计算一阶差分. 图6.1给出了这个预处理序列. 所得序列基本上是该指数中变化的每日价格的百分比. 除了几个异常值（即1987年10月19日20.47%的市场崩盘，金融市场称之为“黑色星期一”）外，这个序列显示出平稳性. 这个变换与金融工程中常用资产定价的几何布朗运动模型的离散化有关. 图6.1 1972年1月3日至1999年12月31日（上图）和1999年1月4日至1999年12月31日（下图）S&P500指数对数变换的差分 我们首先把注意力集中在没有季节分量的情形，即 . （6.3）然后，我们再在§6.3.8中估计趋势和季节分量.6.2.2 滑动平均 平均是最常用的消除随机噪声的技术. 假定趋势是慢变化的，使得其能够在大小为的局部时间窗中用常数来逼近，即 . （6.4）这时能够用该窗周围的局部平均来估计： ， （6.5）随着中心的改变，局部窗也在移动. 例如，在图6.2中，处所得的估计是落在第一个窗内的那些数据的平均. 窗的中心移动到新的点处以构成在这些点处的估计. 随着局部窗从左向右滑动，它的轨迹就是所得的滑动平均曲线. 这是滑动平均平滑的最简单的例子. 它常常被用来验证时间序列的趋势. 图6.2描绘的是从1999年1月4日到1999年12月1日S&P500指数一个月和两个月的滑动平均. 图6.2 1999年1月4日至12月31日S&P500指数和它的21个交易日（粗线） 和41个交易日（虚线）的滑动平均 在边界处，滑动平均估计的习惯做法是忽略超出观察时间范围的那些数据. 例如，是用数据的平均所得的简单估计（时间点2右边的数据比左边更多）. 这种不对称平均可能会产生边界偏倚. 当边界处趋势陡峭且带宽又大时，这种边界效应更为明显. 正如图6.2所示那样，在右边界处的滑动平均低估了趋势. 该问题能够通过使用局部线性平滑. （参见§6.2.6）或别的边界改善方法，比如，边界核方法（Gasser和Müller 1979；Müller 1993）和数据削尖方法（Choi, Hall和Bousson 2000）来减弱. 滑动平均数列（6.5）利用了时间周围两边的数据. 这样它还依赖于时间之后的数据. 为便于预报，单变滑动平均数列 （6.6）也常被用来验证时间趋势. 数列仅用直到时间的过去的数据.6.2.3 核平滑 滑动平均估计的一个改善方法是引进一个加权设计. 这允许对所给时间点附近的数据给予较大的权数. 这也就得到了核回归估计，定义为 . （6.7）这个估计还被称为Nadaraya-Watson估计. 参阅Nadaraya（1964）和Watson（1964）. 当我们使用均匀核时，上述核估计就变成滑动平均估计（6.5）. 当核函数有有界支撑时，核回归估计就是一个局部数据的加权平均. 当核是模在零点的单峰函数时，附近的数据点获得更多的权. 一般地，核函数不要求有一个有界的支撑，只要它薄尾的（如它是一个有二阶矩的密度函数）. 的非负性要求还能被减弱. 带宽也不必是整数. 注意，在高斯核定义中的标准化常数和核的对称Beta族只是用来保证函数是一个概率密度函数. 在核回归估计中它们并不起作用. 在计算时，我们常常标准化各种核函数使得它们如图5.2那样有相同的最大值1. 由于这种标准化，（6.7）可以直观地理解为数据点的有效平均. 当核函数有在中的支撑时（这样的核还可看作是单边核），核回归估计所使用的数据仅到时间. 这是单边滑动平均（6.6）的推广. 如同在核密度估计中那样，在核回归估计中带宽是一个重要参数. 如同在图6.2中所显示的那样，大的带宽产生过度平滑的估计，遗漏趋势和所估计的峰和谷的度量上的一些可能的细节. 特别地，当使用大的带宽时，估计可能产生大的偏差. 当使用小的带宽时，仅有几个局部的数据被使用，降低了估计的方差，却导致所得估计是一条波动的曲线. 例如，用带宽，滑动平均估计（6.5）简单地复制原始数据. 为了得到满意的结果需要反复尝试和修正. 带宽的数据驱动选择能够帮助我们确定所要的平滑度. 正如在§6.2.9所看到的那样，渐近方差本质上依赖于所研究的过程的相关结构. 因此，针对独立数据的由数据驱动选择的带宽在时域平滑中效果不佳. 实际上，Altman（1990），Chu和Marron（1991a）以及Hart（1991）指出，对相依数据，通常的留一在外（leave-one-out） 交叉核实方法效果不好. 这些作者提出了几个修正的方法. 对带宽选择的嵌入方法由Ray和Tsay（1997）以及Beran和Feng（2000）提出. 以上考虑能够通过计算核回归估计的偏倚和方差得到理解. 经过直接计算，在模型（6.3）下，核估计得偏倚为.它不依赖于误差过程. 它实际上是一个逼近误差. 当带宽取得小时，逼近误差小，从而偏倚也小. 另一方面，当取得大时，大多数逼近误差是大的归因于和间的距离是大的，因此，偏倚可能是大的. 这个线性估计的方差还能够被计算. 令是过程的自协方差函数，则 . （6.8）该方差依赖于自相关函数. 进一步简化需要渐近分析. 我们将在§6.2.9中讨论. 在那里我们将看到当时方差的渐近行为. 但我们现在可以指出，当带宽小时，核平滑的方差增大，这归因于在局部领域中数据点数太小的缘故.6.2.4 核平滑的变种 核平滑有许多变种. （6.7）中的分母对相对于求导数和数学上的分析是不方便的. 代替用核函数的高度作为权，我们还可用核函数下方的面积作为权. 由于核函数下方的总面积是1，分母不需要. 这就是隐含在Gasser-Müller估计中的基本思想. 在现在的框架下，令，其中和. Gasser和Müller（1979）提出了以下的估计：.由于总的权，所以没有分母. Gasser-Müller估计是对Priestley和Chao（1972）早期版本的一种修正. Priestley和Chao（1972）给出的估计定义为.这个估计简单地去掉了Nadaraya-Watson估计的分母. 通过积分和变量变换逼近黎曼和，对适当选择的，我们得到总的权，如果不太接近边界，且相对于小，并使得和大，则上述积分近似地等同于.事实上，只要的支撑限制在区间内，等式就精确地成立. 换句话，对不在边界区域的点，总的权近似于1. 以上观点依赖于设计点为等间隔的. 事实上，Priestley和Chao估计仅能用于等间隔情形. 它不能用于§6.3所讨论的状态域平滑.6.2.5 滤波 核回归是用于工程的卷积滤波的一种特殊形式. 一般地，一个长度为的线性滤波定义为 . （6.9）当有支撑时，核回归对应. 滤波能够被设计为拥有各种性质. 例如，它能够被设计成可以去掉高频信号（低通滤波），或低频信号（高通滤波）或超出某个频率范围的信号（带通滤波）；见§2.3.3.核平滑是一种低通滤波. 线性滤波变换可以用递推方式来定义. 例如，单边滑动平均可以对某个，利用下式来定义，这等价于用的如下的加权滑动平均：.由于权以指数速度快速衰减，以上滤波实际上仅用了时刻附近的局部数据. 平滑的有效性依赖于参数. 这种方法称为指数平滑. 指数平滑是用的的一种特殊的核平滑. 这是一种单边平滑. 它仅使用直到现大时刻的数据. 关于这方面内容的进一步讨论可参见Gijbels、Pope和Wand（1999）.6.2.6 局部线性平滑 局部常数逼近（6.4）能够通过使用局部线性逼近来改善. 我们把趋势通过如下线性函数局部地近似为的函数.这样，就近似地看做上述局部线性模型的截距. 可见图6.3中时刻处的图示. 窗内的数据用一个线性回归来拟合. 对局部窗附件的数据用最小二乘方法，我们通过相对于和极小化下式可得到局部截距的估计.这里引进核权是为了减少距离给定时间点较远的数据的贡献. 令和是最小二乘解. 这里用下标是为了表示所得的解依赖于给定的时间点. 这时，用局部截距来估计，它有如下的精确表示 ， （6.10）其中. 当从1取到时就得到整个趋势函数. 这样，局部线性平滑实际上是一种移动线性回归方法. 正如图6.3所示那样，在处的估计由一个新的局部最小二乘问题得到. 在每个数据窗中拟合的直线用实线表示. 估计的局部截距的值位于虚垂直线和局部直线的交叉处. 局部斜率是时间趋势导数的估计. 此外，这些局部窗还可以互相重叠（见图6.2）. S-Plus函数“lls.s”已写成程序差可用于计算图6.3中的平滑曲线. 这个S-Plus函数能够从本书的网址获得. 图6.3 使用Epanechnikov核和带宽所得的1999年1月4日至1999年12月31日S&P500指数局部线性拟合. 在每个窗中的虚抛物线表示每个局部数据点所得的权 局部线性平滑能够很容易地堆广到局部多项式平滑. 局部多项式拟合和它的应用的全面介绍可参阅Fan和Gijbels（1996）. 局部多项式拟合的优点总结在§6.3.3中. 注意，（6.11）中的权满足 （6.11）这就蕴涵了如果趋势是线性的，则局部线性平滑是无偏的：.换句话，无论趋势函数多以陡峭，只估计线性趋势时，局部线性平滑就是无偏的. 这对在内部以及边界处的点的同样成立. 也就是说对于估计陡峭趋势，局部线性估计将有小的偏倚. 另一方面，因为类似于（6.11）的方程即便是近似地也都不成立，因此，对估计边界区域附近的点估计陡峭趋势，核平滑将有较大的偏差.6.2.7 其他的平滑方法 核局部线性平滑有许多别的方法. 例如，Gasser和Müller（1979）使用了不同于核和局部线性平滑的权形式，Jones（1997）介绍了局部线性平滑的各种形式. Fan和Gijbels（1996）给出了各种平滑技术的概述，包括样本和正交级数方法. 核回归和局部多项式建模是基于在许多格子点上的局部近似. 诸如样条这样的全局逼近方法还能够用于对时间域的平滑. 这些思想将在关于状态域平滑的§6.4中介绍. 对诸如时域平滑这样的等间隔设计，正交级数方法也非常容易使用. 其基本思想是先用正交矩阵对数据进行变换，然后，在高频点向零点有选择地调整系数（或向零点收缩它们）. 平滑估计能够通过tapered系数的逆变换来获得. 常用的正交变换包括傅里叶变换和小波变换. 它们的统计应用可参阅Ogden（1997）、Efromovich（1999）和Vidakovic（1999）等近期出版的专著.6.2.8 季节分量修正 有许多实用的修正季节分量的方法. 在此我们概要地介绍一个方法以说明其基本大意. 假定（6.1）中的季节分量的周期是，即 . （6.12）后一个约束是一个可识别条件. 若此约束不成立时，只要加一个常数到趋势分量，并在季节分量修正中减去相同的常数. 归因于约束（6.12），当是一个奇数时，趋势能够方便地用具有的滑动平均（6.5）来估计. 在（6.5）中季节分量平均掉，因而对趋势估计没有贡献. 当周期是偶数时，用如下稍加修改的形式估计趋势.季节分量能够按如下步骤来估计. 就一个例子来说，我们假定要处理的月度数据，且周期. 在3月的季节分量的值能用在3月所得一切观测值的移去趋势分量后的平均来很好地近似. 这就得到估计，其中表示的整数部分，. 在上述求和中对上下限所作的限制是为了保证数据不要太接近边界使得在趋势估计中边界影响达到最小. 这种初步估计可能不能精确地满足约束（6.12）. 但这能够容易地通过用下式估计季节分量来作修正. 以上方法还被用于没有趋势分量的情形. 在这种情形，不需要移去趋势，即令6.2.9 理论概况* 问题（6.3）的理论表述应该得到注意. 一个简单的方式是把所得的时间序列看作是来自如下连续过程的离散化样本路径这种表述常常被用在金融时间序列建模中. 时间单位通常取年，每星期数据被看作是以的速度抽自连续过程. 对金融中的期权定价和风险管理，这种表述是非常有效的. 然而，在时域平滑方面，这种述有一些缺点. 首先，为了能够相容地估计，我们需要在给定的时间的周围用大小为的窗局部化数据. 但是，只要过程是连续的，所有的局部数据都是高度相关的，且当时，相关系数趋于1. 这就蕴涵了局部数据变化不大，因而也就不需要局部平滑. 正如在图6.2中所看到的那样，局部数据变化很大，局部平滑就能改善趋势估计. 这样，以上表述从理论的观点来看似乎是病态的. 其次，在以上的表述下，趋势和随机误差有相似的光滑度（两者都是连续的）. 因此，在中没有希望将随机部分与趋势部分分离开来. 一个代替的表述是推广等间隔设计的非线性回归模型到时间序列框架. 假定所得到的时间序列是来自模型 （6.13）其中是平滑时间趋势函数，是随机过程，. 在这种表述下，我们现在能够利用平滑技术从随机噪声中分离出平滑趋势. 一个小的缺点是平滑趋势依赖于观测数量. 这个问题早就出现在具有固定设计的非参数回归文献中. 实际上它不是一个严重问题. 渐近理论毕竟只是一个工具，为我们理解理论性质提供简化的结构. 用建模趋势是捕捉趋势比噪声变化更慢这一特征的简单的技术手段. 在以上两种表述之间选择哪一个依赖于所研究的问题. 在纵向数据和泛函数据分析中，Hart和Wehrly（1986）以及Silverman（1996）基本上是用前一种表述：人们通过模型观测到大量独立序列. 这种表述对他们的问题是适合的. 对时域平滑，模型（6.13）常被假定. 例如见Hall和Hart（1990），Robinson（1997），以及Johnstone和Silverman（1997）. 这就保证了能捕捉到时间趋势比随机噪声更光滑这一特征. 进一步，它也保证了能相容地估计时间趋势. 由公式（6.13）能够获得核和局部线性平滑的渐近性质. 估计的偏倚与具有均匀设计的独立样本情形是相同的. 核和局部线性平滑的方差经繁琐的计算也可得到. 它们依赖于噪声过程的协方差结构. 一般地，我们假定的自方差函数满足， （6.14）其中是常数. 在2.5.2中定义的分式ARIMA过程就满足（6.14）. 我们将估计（6.10）重写为. 对任何，使用和（6.11），我们得到偏倚. （6.15）注意，这个偏倚不依赖于误差过程. 它完全是局部线性拟合的近似误差. 为理论叙述的简单，我们假定有有界支撑. 这个假定可以冗长的叙述为代价而得到减弱. 特别地，可以使用像高斯核这样的轻尾核. 由表示. 在下面的定理中我们总结了渐近偏倚和方差，定理的证明放在§6.6.1. 注意，由于时间单位的尺度，和用在一般的非参数回归中的带宽是相同的. 定理6.1 假定有有界支撑，满足和，且当时，带宽. （a）如果存在，且在点处连续，则. （b）如果自方差函数满足（6.14），我们有 （6.16） 定理6.1表明，过程的协方差结构对渐近方差有强烈的影响. 反过来这也影响到渐近最优带宽，并解释了为什么独立数据的数据驱动带宽选择不能直接应用到相依数据. 对核估计的类似于定理6.1的结果由Hall和Hart（1990）证明. 最近，这些结果被Beran和Feng（2000）用不同于§6.6.1给出的方法推广到局部多项式拟合. 他们还证明了对anti-persistent过程，渐近方差具有阶. 局部线性估计的渐近正态性也可以被建立. 如果误差过程是高斯的，则它的加权平均估计（6.10）还是高斯的. 这样，局部线性估计的渐近正态性直接由定理6.1得到. 此外，在正态假定下，Csörgö和Mielniczuk（1995）建立了类似于定理5.4的最大偏差的渐近分布. 然而，对的正态假定并不是本质的. 正如在Robinson（1997）中所证明的那样，这个条件可以去掉. 我们在此概要地叙述用于本章的技术. 令是相对于它自身域的鞅差序列，即假定是一双边无穷阶滑动平均过程：且是一致可积的，并满足分式ARIMA过程满足这三个假定. 考虑加权和，它是鞅差序列的和. 由鞅的性质，假定这个方差存在. 下面的定理由Robinson（1997）给出. 类似的结果还可在Ibragimov和Linnik（1971）中发现. 定理6.2 在上面所述的条件下，倘若，则有. 对于局部线性估计（6.10），易见这时渐近正态性变为验证定理6.2中所叙述的条件. 我们略去细节.6.3 状态域平滑6.3.1 非参数自回归 状态域平滑与非参数预报密切相关. 考虑一个平稳时间序列. 为了简单起见，我们考虑仅基于变量的预报. 基于的的最优预报是给定时，的条件期望，它在所有的预报函数中极小化MSE.这个函数还称为阶为1的自回归函数. 当是零均值平稳高斯过程时，这个条件均值是线性函数，条件方差是常数. 这就得到一个AR（1）模型.一般地，函数不必是线性的，条件方差也不必是常数. 然而，总是能够以如下方式表示数据， （6.17）其中. 这里，的条件均值为零，条件方差为1，即. 非参数平滑技术还能够用于包括自回归函数的估计以外的领域. 考虑一个双变量序列，它可以被看作是来自平稳过程的一个实现. 我们的兴趣是估计回归函数. 为便于对问题的理解，我们记， （6.18）其中满足.显然，这个结构包括通过取而把估计的自回归函数作为一个特定的例子. 下面是三个有用的例子. 例6.1 考虑平稳时间序列. 对给定的，我们取. 则目标函数变为.条件方差可以通过用来估计. 特别地，当小得如例1.1中所给的利率差分数据，基本上就如同条件方差. 换句话，对下面图6.4中所给的数据，均值回归函数是波动函数的平方.这就是由Stanton（1997）以及Fan和Yao（1998）所给出的波动估计的基础. 图6.4 对12个月国库券回报用局部线性拟合估计条件方差. （a）具有Epanechnikov核和带宽索的局部线性拟合的图示；（b）估计条件标准差用局部线性拟合（实曲线）， Fan和Yao（1998）的基于残差的方法（短虚曲线）和具有和的参数模型（长虚曲线） 例6.2 再考虑平稳时间序列. 我们取，它是区间上的示性函数，. 则目标函数变为.特别地，如果，我们就得到条件分布估计. 进一步，如果和，则当取值小时，基本上就如同给定时的条件密度. 这个条件密度函数对了解给定时分布的全貌是非常有用的. 特别地，自回归函数是这个分布的中心，波动函数是这个分布的扩展. 这个思想形成了Fan、Yao和Tong（1996）估计条件密度（§6.5）和与它们相关的泛函（§10.3），以及Hall，Wolff和Yao（1999）估计条件分布函数（§10.3），Polonik和Yao（2000）估计最小量预报区域（§10.4）等所用方法的起源. 例6.3 对给定的时间序列，多步预报能够通过令和来完成，其中是预报步长数. 对这种情形，我们用非参数方法，基于变量来估计最优步预报，下面的图6.6画出了山猫数据的一步和两步预报. 把这个方法和例6.1和例6.2中的技术结合起来，我们能够估计多步预报的条件方差和条件密度.6.3.2 局部多项式拟合 局部多项式拟合是一个用途广泛的非参数技术. 它拥有多种好的统计性质. 关于这些内容可参阅Fan和Gijbels（1996）. 令是定义在（6.18）中的回归函数阶导数. 局部多项式技术可非常方便地用来估计，包括回归函数本身. 由于回归函数的形式没有被指定，因而距离远的数据点对提供了很少的信息. 因此，我们只能使用附近的局部数据点. 假定在点处有阶导数. 由泰勒展开，对局部邻域的，我们有 . （6.19）在统计建模方面，对周围的局部点，我们建模为 . （6.20）参数依赖于，故称之为局部参数. 显然，局部参数. 用局部数据拟合局部模型（6.20）可极小化， （6.21）其中是控制局部邻域大小的带宽. 作为一个说明的例子，我们取，其中是12个月国库券回报. 带宽为，它是由预渐近代入法（见§6.3.5）用C-程序“lls.c”计算得到的. 在点处（百分数），线段用来拟合在阴影区域中的局部数据，在此对每个数据，权用虚曲线（对应于Epanechnikov核）表示. 在点处局部截距是拟合的线段和垂直线段间的交点. 这就构成了在点处的回归函数的估计. 沿着水平轴滑动这个窗，我们就获得在区间3，14上要估计的曲线. 条件标准差被展示在图6.4（b）中. 基于残差来估计条件方差的方法由Fan和Yao（1998）提出，其计算通过C程序“autovar.c”来实现（还可见§8.7.2），为比较方便，它用短虚曲线表示. 参数模型常被用来对生产率动态的波动进行建模，它用长的虚曲线表示. 正如人们所看到的那样，在参数和非参数方法之间还存在本质差异，这对参数拟合是否合适提出了疑问. 选择带宽预渐近代入方法由Fan和Gijbels（1995）提出，见§6.3.5. 用，表示最小二乘问题（6.21）的解. 的局部多项式估计是. 这里，我们不用记号是为了避免由估计回归的阶导函数所带来的混淆. 事实上，导数是用局部斜率来估计，而不是用估计的回归函数的导数来估计. 当，局部多项式拟合退化为该回归估计，它还被称为Nadaraya-Watson估计. 因此，从局部逼近的观点来看，核回归估计是基于局部常数逼近的. 见（6.19）. 使用矩阵记号来表示局部多项式回归更为方便. 用表示相应于（6.21）的设计矩阵：，且令.则加权最小二乘问题（6.21）能够写为， （6.22）其中，是对角矩阵，它的第个元素为. 解向量为. （6.23） 为了实现局部多项式估计，我们需要选择阶，带宽和核. 当然，这些参数相互关联. 当时，局部多项式拟合就变成全局多项式拟合，阶决定模型的复杂性. 与参数模型不同，局部多项式拟合的复杂性主要是由带宽来控制. 因此，通常是较小的，故而选择的问题就变得不重要了. 如果目的是估计，则当是奇数，局部多项式拟合自动修正边界偏倚. 进一步，当是奇数，与阶拟合（则是偶数）相比较，阶拟合包含了一个多余参数，但没有增加估计的方差. 不过这个多余参数创造了一个降低偏倚的机会，特别是在边界区域. 见Fan（1992）、Fan和Gijbels（1992）、Hastie和Loader（1993）、Ruppert和Wand（1994）. 因为这些理由，奇数阶拟合（选择使和是奇数）比偶数阶拟合（选择使得是偶数）更好. 基于理论和实际的考虑，在Fan和Gijbels（1996）中推荐阶. 如果主要目的是估计回归函数，我们使用局部线性拟合，如果目标函数是一阶导数，我们就使用局部平方拟合，等等. 另一方面，带宽的选择在多项式拟合中起着重要作用. 太大的带宽引起过度平滑，产生过大的建模偏倚，而太小的带宽会导致不足平滑，获得受干扰的估计. 带宽可由使用者通过目测检查所得到的估计曲线来主观选择，或由数据通过极小化的估计理论风险来自动选择（见6.3.5）. 由于估计基于局部回归（6.21），我们有理由要求一个非负权函数K. Fan, Gasser, Gijbels, Brockmann和Engel（1995）已证明，对所有的选择和，最优权函数是，它被称为Epanechnikov核. 这样，它是一个万能的加权方式，并对比较其他核提供了一个有用的基准. 正如在5.5所证明的那样，对实际中使用的和，其他核具有几乎相同的有效性. 因此，核函数的选择并不是至关重要的. 将局部多项式估计与其他估计进行比较，包括Nadaraya-Watson估计、Gasser和Müller估计和Priestley和Chao估计. 实际上，由Fan（1993a）可知，局部线性拟合在所有线性估计中是渐近最小最大的，而在所有可能的估计中几乎是最小最大的. 这种最小最大性质由Fan，Gasser，Gijbels，Brockmann和Engel（1995）推广到更一般的局部多项式拟合.6.3.3 局部多项式估计的性质 整个这一节中，我们假定是平稳序列. 令是有随机变量生成的事件的域. 令和是它们相应的和混合系数. 用表示单位向量，其位置的元素为1. 令 （6.24）和是矩阵，它位于的元素是. 首先，我们容易证明估计能够写为， （6.25）其中有效核是核和一个多项式函数的乘积，其定义如下. （6.26）以上表达式显示除了“核”依赖于设计点和位置外，估计看起来就像传统的核估计. 这就解释了为什么局部多项式拟合能够自动地适应各种设计框架和边界估计. 图6.5给出了局部常数拟合的有效核函数和对Epanechnikov核在点和处的局部线性拟合. 它们满足如下矩性质.图6.5 对局部常数拟合和具有核为Epanechnikov核的局部线性拟合在内点处（权由表示）和边界点（权由表示）分配给局部数据点的有效权. 水平实线和虚线分别是真实函数和估计的函数在点和的高度. 它们的差是在这两个点处的偏倚. （a）Nadaraya-Watson估计；（b）局部线性拟合. 为清楚起见，数据（）不包含噪声 命题6.1 有效权满足如下有限矩性质：，其中如果，则，否则为1. 证明 由的定义 .从而得到所要的结论. 作为命题6.1的结果，当真实的回归函数是阶为的多项式时，的局部多项式估计的无偏倚的. 为了获得更多有关有效核的知识，我们提供它的渐近形式. 我们首先引进一些记号. 令是矩阵，它的第元素为，其中. 定义等价核如下， （6.27）其中是的元素. 命题6.2 在定理5.5的条件下，如果的边缘密度在点处有连续的导数，则在对和一致地有，其中. 对高阶核而言，等价核满足如下矩条件：. 证明 注意到基本上和具有诱导核的核密度估计是相同的. 因此，由定理5.5，对一致地有， （6.28）把（6.28）代入的每一个元素就立即得到，或等价地有，其中，因此，把这个式子代入的定义，我们得到.这就证明了第一个结果. 第二个结果用与命题6.1相同的证明可得. 由（6.25）和命题6.2，有. （6.29）因此，使用局部多项式估计就像使用具有已知设计密度的核回归估计一样. 这就解释了为什么局部多项式拟合适应于多种设计密度. 反过来，核回归估计在的导数偏大的区域有大的偏倚，即它不能适应高偏斜设计. 为了搞清楚这一点，想象真实的回归函数在这样的区域内有大的斜率. 对给定的，由于设计密度的导数是大的，故而在的一边比另一边有更多的点. 当使用局部平均时，由于局部数据呈现对称状态，故Nadaraya-Watson估计向着有更多局部数据点的那一边产生偏倚. 由于局部数据多是非对称的，故而这个问题在边界区域更显著，见图6.5. 另一方面，如果需要，局部多项式拟合造出非对称权以补偿这类设计偏倚（图6.5（b）. 因此，它适合于各种设计密度和边界区域. 我们现在给出局部多项式估计的渐近偏倚和方差表达式. 对独立数据，我们通过在设计矩阵上加条件来获得偏倚和方差表达式. 然而，对诸如在例6.1-6.3中所给出的时间序列，加在上的条件将意味着几乎是加在整个序列上. 因此，我们用渐近正态性而不是用条件期望来导出渐近偏倚和方差. 正如在§5.3所解释的那样，状态局部化减弱了局部数据的相依结构. 因此，人们期望对独立数据的结果对具有某种混合条件的平稳序列依然成立. 混合条件和窗的大小是有关系的. 这点的严格叙述由在§6.6.2中的条件1（iv）给出. 下面属于Masry和Fan（1997）的定理的证明将在§6.6.2中概要地给出. 定理6.3 在§6.6.2的条件1下，如果，且在点处是连续的，则当时，其中，是矩阵，它的第元素是是维向量，其第个元素为. 注意，由等价核的定义易见和因此，定理6.1的直接推论是导数估计是渐近正态的： （6.30）当时，（6.30）给出本身的渐近正态性. 局部多项式估计的渐近偏倚和渐近方差被自然地定义为， （6.31）. （6.32）对给定的权函数，理想的带宽应极小化这就得到渐近最优带宽， （6.33）其中.然而，由于这种理想带宽依赖于未知函数，故它不是直接可用的. 我们将在§6.3.5中提出方法来估计它. 正如在上一节所叙述的那样，当是奇数时，局部多项式拟合自动地适应边界区域. 为了说明这一点，我们沿用Gasser和Müller（1979）的公式表示. 假定有有界支撑，记为. 则当核有有界支撑时，是右边界点. 我们现在考虑在边界点处的行为. 为此，令. 在定义和中，我们用分别代替和，这就得到了和. 类似地，在边界定义等价核为则我们有下列结果，它的证明非常类似于定理6.3的证明. 定理6.4 假定§6.6.2中条件1成立，且. 如果，和在点0处是右连续的，则当，其中. 作为定理6.4的推论，在边界点处，我们有如下渐近偏倚和方差：和.将它们与（6.31）和（6.32）相比较. 注意，当是对称的且是偶数时，可以证明（Ruppert和Wand1994）（6.31）中的系数是零. 在此，偏倚在内点比在边界点有较小的阶. 这就是所谓的边界效应. 当是奇数时，偏倚在内点和边界点具有相同的阶. 实际上，它们在点处甚至是连续的，该点是内点和边界点之间的界. 因此，当是奇数时，局部多项式拟合并没有产生额外的边界偏倚. 假定奇数，且是对称的. 可以证明，对阶和阶的局部多项式拟合有相同的渐近方差（参阅Fan和Gijbels，1996的§3.3）. 但后者有更多的参数以减少建模偏倚，特别是在边界区域. 这就是我们推荐适用奇数阶拟合的理论背景. 这真是一个奇妙的世界！ 下面引理对导出局部多项式估计是非常有用的. 它是Mack和Silverman（1982）的结果的推广. 引理6.1 令是平稳序列，满足混合条件，其中和. 进一步假定对某个和区间，有且，其中表示的联保密度. 此外，我们假定§6.6.2中条件1（ii）和（iii）成立. 令为具有界支撑的有界函数，满足Lipschitz条件. 则倘若，且对某个和，我们有. 注意，由于，当混合系数指数衰减，则引理6.1的最后一个条件自动成立. 一般地，当相当大时，上述引理中的最后一个条件成立. 我们现在叙述和证明局部多项式估计结果的一致收敛性. 定理6.5 假定引理6.1的条件成立，设计密度在上是一致连续的，且. 则 . 在定理6.5中取第元素，我们有 .特别地，局部多项式估计有如下的一致收敛性：.6.3.4 标准误差和估计偏度 局部多项式估计的标准误差对构造置信区间是有用的. 为了导出它们，我们暂时假定是来自某总体的独立样本. 则由（6.23）有.注意，. 由于所有运算都是对局部地进行，