支持向量回归机.docx

支持向量回归机3.3 支持向量回归机 SVM本身是针对经典的二分类问题提出的，支持向量回归机是支持向量在函数回归领域的应用。SVR与SVM分类有以下不同：SVM回归的样本点只有一类，所寻求的最优超平面不是使两类样本点分得“最开”，而是使所有样本点离超平面的“总偏差”最小。这时样本点都在两条边界线之间，求最优回归超平面同样等价于求最大间隔。 3.3.1 SVR基本模型 对于线性情况，支持向量机函数拟合首先考虑用线性回归函数f(x)=w×x+b拟合(xi,yi),i=1,2,.,n，xiÎRn为输入量，yiÎR为输出量，即需要确定w和b。 图3-3a SVR结构图 图3-3be不灵敏度函数 惩罚函数是学习模型在学习过程中对误差的一种度量，一般在模型学习前己经选定，不同的学习问题对应的损失函数一般也不同，同一学习问题选取不同的损失函数得到的模型也不一样。常用的惩罚函数形式及密度函数如表3-1。 表3-1 常用的损失函数和相应的密度函数 损失函数名称 %(xi) 损失函数表达式c噪声密度p(xi) e-不敏感 xie 12(1+e)12exp(-xie) 拉普拉斯 xi 12exp(-xi) 高斯 xi 212pexp(-xi22) 鲁棒损失 ì12(xi),ifxi£s;ïï2s íïx-s,otherwise;iïî21p2ìxiexp(-),ifxi£sïï2s íïexp(s-x),otherwiseiïî2多项式 xipp2G(1/p)exp(-xi) p分段多项式 pì1xïpsp-1i,ifxi£sï íïx-sp-1,otherwiseiïpîpìxi),ifxi£sïexp(-p-1psï íïexp(sp-1-x),otherwiseiïpî标准支持向量机采用e-不灵敏度函数，即假设所有训练数据在精度e下用线性函数拟合如图所示， ìyi-f(xi)£e+xiï*íf(xi)-yi£e+xiï*îxi,xi³0i=1,2,.,n式中，xi,xi*是松弛因子，当划分有误差时，x，xi*都大于0，误差不存在取0。这时，该问题转化为求优化目标函数最小化问题： R(w,x,x)=*12nw×w+Cå(xi+xi) *i=1式中第一项使拟合函数更为平坦，从而提高泛化能力；第二项为减小误差；常数C>0表示对超出误差e的样本的惩罚程度。求解式和式可看出，这是一个凸二次优化问题，所以引入Lagrange函数： L=12nn*inw×w+Cå(xi+x)-åaixi+e-yi+f(xi)i=1*i=1nii-åaixi+e-yi+f(xi)-i=1å(xgi=1+xigi)*式中，a，ai*³0，gi，gi*³0，为Lagrange乘数，i=1,2,.,n。求函数L对w，b，xi，xi*的最小化，对ai，ai*，gi，gi*的最大化，代入Lagrange函数得到对偶形式，最大化函数： W(a,a)=*12nnåi=1,j=1(ai-ai)(aj-aj)(xi×xj)n*i+å(ai-ai)yi-i=1å(ai=1+ai)e*其约束条件为： ìn*ïå(ai-ai)=0 íi=1ï0£a,a*£Ciiî求解式、式其实也是一个求解二次规划问题，由Kuhn-Tucker定理，在鞍点处有： aie+xi-yi+f(xi)=0xi×gi=0aie+xi-yi+f(xi)=0xi×gi=0*得出ai×ai*=0，表明ai，ai*不能同时为零，还可以得出： (C-ai)xi=0(C-ai)xi=0*从式可得出，当ai=C，或ai*=C时，f(xi)-yi可能大于e，与其对应的xi称为边界支持向量，对应图3-3a中虚线带以外的点；当ai*Î(0,C)时，f(xi)-yi=e，即xi=0，xi*=0，与其对应的xi称为标准支持向量，对应图3-3a中落在e管道上的数据点；当ai0，ai*0时，与其对应的xi为非支持向量，对应图3-3a中e管道内的点，它们对w没有贡献。因此e越大，支持向量数越少。对于标准支持向量，如果0<ai<C(ai*=0)，此时xi=0，由式可以求出参数b： lb=yi-å(aj-aj=1*j)xj×xi-e*j=yi-åxjÎSV(aj-a)xj×xi-e同样，对于满足0<ai*<C(ai=0)的标准支持向量，有 b=yi-åxjÎSV(aj-a*j)xj×xi-e一般对所有标准支持向量分别计算b的值，然后求平均值，即 b=1NNSV+å0<ai<Cyi-åxjÎSV(aj-aj)K(xj,xi)-e*å0<ai<C*yi-åxjÎSV(aj-aj)K(xj,xi)-e因此根据样本点(xi,yi)求得的线性拟合函数为 nf(x)=w×x+b=å(ai=1i-ai)xi×x+b *非线性SVR的基本思想是通过事先确定的非线性映射将输入向量映射的一个高维特征空间中，然后在此高维空间中再进行线性回归，从而取得在原空间非线性回归的效果。 n首先将输入量x通过映射F:R®H映射到高维特征空间H中用函数f(x)=w×F(x)+b拟合数据(xi,yi)，i=1,2,.,n。则二次规划目标函数式变为： W(a,a)=-n*12nåi=1,j=1(ai-ai)(aj-aj)×(F(xi)×F(xj)n*i*+å(ai-a)yi-i=1å(ai=1i+ai)e*式中涉及到高维特征空间点积运算F(xi)×F(xj)，而且函数F是未知的，高维的。支持向量机理论只考虑高维特征空间的点积运算K(xi,xj)=F(xi)×F(xj)，而不直接使用函数F。称K(xi,xj)为核函数，核函数的选取应使其为高维特征空间的一个点积，核函数的类型有多种，常用的核函数有： 多项式核：k(x,x')=(x,x'+d)p,pÎN,d³0; 高斯核：k(x,x')=exp(-RBF核：k(x,x')=exp(-x-x2s'22'); x-x2s2); B样条核：k(x,x')=B2N+1(x-x'); Fourier核：k(x,x')=sin(N+sin1212)(x-x)'' (x-x)因此式变成 W(a,a)=-n*12nåi=1,j=1(ai-ai)(aj-aj)×K(x×xi)n*i*+å(ai-a)yi-i=1å(ai=1i+ai)e*可求的非线性拟合函数的表示式为： f(x)=w×F(x)+bn=å(ai=1i-ai)K(x,xi)+b*3.3.2 结构改进的支持向量回归机 上节所述的SVR基本模型其优化目标为： l1ì2*minw+C(x+x)åiiïw,b,x2i=1ïyi-w×f(xi)-b£e+xiïs.t.ï*w×f(xi)+b-yi£e+xi íïxi³0ï*ïxi³0,i=1,2,.,lïîSVR结构改进算法一般在优化目标中增加函数项，变量或系数等方法使公式变形，产生出各种有某一方面优势或者一定应用范围的算法。 Suykens提出了最小二乘支持向量机105，与标准SVM相比其优化指标采用了平方项，从而将不等式约束转变成等式约束，将二次规划问题转化成了线性方程组的求解，其优化目标为： ìinïMw,b,xïïís.t.ïïïî12w+12lgåxii=12yi=w×f(xi)+b+xi i=1,2,L,lLS-SVM与标准SVM相比减少了一个调整参数，减少了l个优化变量，从而简化了计算复杂性。然而LS-SVM没有保留解的稀疏性。改进的最小二乘支持向量机有：递推最小二乘支持向量机106、加权最小二乘支持向量机107、多分辨率LS-SVM108及正则化最小二乘方法109等。 Schölkoph等提出的n-SVM方法110，引入反映超出e管道之外样本数据点和支持向量数的新参数n，从而简化SVM的参数调节。其优化目标为： ìinïmw,b,xïïs.t.ïïíïïïïïîln11lé2*2ùww+Cêne+å(xi+xi)ú2li=1ëûTyi-w×f(xi)-b£e+xiw×f(xi)+b-yi£e+xixi³0xi³0i=1,2,L,l*表示边界支持向量机的上限和支持向量机的下限。与标准支持向量机相比优化求解过程不需要设定e值。 标准SVM方法中，引入惩罚系数C实行对超出e-带数据点的惩罚。在实际问题中，某些重要样本数据点要求小的训练误差，有些样本数据点对误差的要求不是很高。因此，在优化问题描述时，对每个样本点应采用不同的惩罚系数C，或对于每个样本数据点应采用不同的e-不敏感函数，使回归建模更加准确，这一类结构变化的支持向量机通常称为加权支持向量机111，加权支持向量机可以通过对惩罚系数C加权实现，也可以通过对e加权实现。通过对参数C加权实现时，其优化目标为： ìinïwm(*),x,bïïs.t.íïïïî12w2l+Cåsi(xi+xi)i=1*wf(xi)+b-yi£e+xiyi-wf(xi)-b£e+xi*xi(*)³0,i=1,2,L,l通过对e加权实现时，其优化目标为： ìin*ïwm,b,x,xïïs.t.íïïïî12w2l+Cå(xi+xi)i=1*yi-w×f(xi)-b£ei+xi w×f(xi)+b-yi£ei+xi*xi³0,xi³0*i=1,2,KlFriess等提出了一种针对分类问题的SVM变形算法-BSVM算法112。与标准SVM相比，BSVM的优化目标多一项，而约束条件少一项等式约束，变为边界约束条件下的二次规划问题，适合迭代求解。同时可以应用矩阵分解技术，每次只需更新Lagrange乘子的一个分量，从而不需要将所有样本载入内存，提高了收敛速度。BSVM算法应用于回归分析，其优化目标为： ìïMwinïïs.t.ïíïïïïî12ww+T12lb+Cå(xi+xi)i=12*yi-w×f(xi)-b£e+xiw×f(xi)+b-yi£e+xixi³0xi³0i=1,2,L,l*标准SVM回归算法都是把问题转化为求解凸二次规划。Kecman和Hadzic113提出用L1范数替代L2范数，从而通过改造用线性规划代替凸二次规划，以便于利用非常成熟的线性规划技术求解回归支持向量机。由最优化理论，lw=a(*)å(ai=1l*i-ai)xii，据此考虑把原始目标函数的l2模wl(*)*2用l1模*=å(ai=1则l1模可以改写为：a+ai)替换。=å(ai=1i用a+ai)，*代替原目标函数中的w2；将w代入原约束条件；增加约束ai,ai*³0,i=1,2,Ll，可得： ìminïa(*)(*),x,bïïïs.t.íïïïïî1liå(ali=1lili=1+ai)+*Cllå(xi=1i+xi)*å(ayi-ai)(xi×xj)+b-yi£e+xi-ai)(xi×xj)-b£e+xi*å(ai=1iai(*),xi(*)³0,i=1,2,L,l针对实际问题的特殊性，有时可以选择其他形式的更适宜的惩罚函数。惩罚带为任意形式的支持向量回归机114，通过定义推广的e-不敏感损失函数： ìy-f(x)-eV(x),ïc(x,y,f(x)=í0,ï*îy-f(x)-eV(x),y-f(x)>eV(x);eV(x)³y-f(x)³-eV(x); *y-f(x)<-eV(x);*其中V(x),V*(x):c®R+，采用推广的e-不敏感损失函数构造n-SVR问题，将原始最优化问题转化为： ìminïa(*)(*),x,bïïís.t.ïïïî1llåi=1é(ai+ai)+C×ênë*ll*åxi+ni=1*åxi+i=1*1llåi=1*ù(xi+xi)úûw×xi+b-yi£eiV(xi)+xiyi-w×xi-b£eiV(xi)+xiei(*),xi(*)³0,i=1,2,L,l惩罚带为任意形式的支持向量回归机包含了针对惩罚函数改进SVR结构的所有模型。 此外，还有模糊支持向量回归机59、拉格朗日支持向量机115等。 3.3.3 SVM参数优化方法研究 支持向量机的性能取决于超参数C、e、核函数类型及核参数。核函数类型的选择与所应用的领域有关，核函数特性的不同决定建立的模型也具有不同的特性，对于静态软测量建模，一般采用rbf核函数，因为其跟踪性能较好且没有记忆性，符合静态建模的特点。核参数反映了训练数据的范围或分布，它对模型的预测效果影响较大；调整因子C是模型复杂度和推广能力的折中，它决定了对损失大于e的样本的惩罚程度，当C®¥时，模型优化目标退化为经验风险最小化，C过小，使经验风险所占比重太少，模型结构复杂度下降，但训练误差可能超出接受范围；e不灵敏函数是SVR的重要特征，它决定了支持向量的数目，保证了解的稀疏性，是模型推广性能的象征，但是太平滑的估计又会降低模型的精度。目前没有一个理论的方法来设计SVR的参数，现有的软件都是基于建模者的经验在建模之前设定。常用的设定SVR参数的方法主要有以下几种： 1）交叉检验法 交叉检验法是用的最多的一种参数选择方法，其基本思想是将样本集分为训练集、检验集和测试集，选择若干组模型参数，用训练集推导模型系数，选择其中使检验集误差测度最好的参数用于测试集。根据样本集的长度，可以设定交叉检验的次数。 2）经验选择法 经验选择就是根据建模者的经验在建模之前选择参数。Vladimir等提出了一种根据训练集数据特性选择模型参数的方法116，其中 C=max(y+3sy,y-3sy) 式中y,sy分别表示训练数据集中y的均值和标准偏差； e=3slnnns为噪声的标准偏差，n为样本数。上述经验公式是基于噪声水平已知的假设，并没有理论上的证明。 3）网格优化选择法 网格优化算法是一种大范围点集搜索方法。搜索范围的确定仍需建模者设定。该方法简单易行，但是训练时间较长，一般用来确定参数范围，再用其他方法进行渐近搜索。 4）统计学习理论的VC维学习方法117、118 采用统计学习理论的方法导出模型推广错误的界，并用VC维来表示，用统计学习理论选择的核和调整因子C可以使VC维的上界最小，从而可以确定模型的参数。但这种方法需要在非线性空间计算超球半径。 5）Bayesian学习方法 James Tin-Yau Kwok基于权值空间的观点给出了SVM的贝叶斯解释119。说明了SVM可以解释为MacKay证据体系的第一层推理，还说明了证据体系下的第二层、第三层推理也可以应用到SVM：第一个层次的推导考虑w的概率分布，确定正则项和损失函数的可能性；第二层推理是调整因子C的推导；第三个层次的推理是获得核参数。