支持向量回归机ppt课件.ppt
,支持向量回归机 SVR,汇 报 人： 陈 瑞 指导老师：张 宪 霞老师 日 期： 2016-1-11,目录,CONTENTS,01 支持向量机与支持向量回归机,02 支持向量回归机模型,03 支持向量回归机算法,04 总结,支持向量机与支持向量回归机,支持向量机(SVM) 是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力（或称泛化能力）。,VC维理论,经验风险,置信风险,02,03,01,可以简单的理解为问题的复杂程度，VC维越高，问题就越复杂.,经验风险代表了分类器在给定样本上的误差.,代表了我们在多大程度上可以信任分类器在未知文本上分类的结果.,并不是说样本的绝对数量少，而是说与问题的复杂度比起来，SVM算法要求的样本数是相对比较少的。,小样本,非线性,SVM擅长应付样本数据线性不可分的情况，主要通过松弛变量（也有人叫惩罚变量）和核函数技术来实现，这一部分是SVM的精髓。,高维模式识别,指样本维数很高，SVM可以处理高维向量，因为SVM 产生的分类器很简洁，用到的样本信息很少（仅仅用到那些称之为“支持向量”的样本）。,SVM特点,支持向量机与支持向量回归机,支持向量机与支持向量回归机,SVM,SVR,* 支持向量机是分类问题，寻求的是一个最优超平面（函数g(x) ）将两类样本点分的最开，最大间隔准则（H1和H2之间间隔最大）是支持向量机最佳准则。,H,H1,H2,* 支持向量回归机寻求的是一个线性回归方程（函数y=g(x)）去拟合所有的样本点，它寻求的最优超平面不是将两类分得最开，而是使样本点离超平面总方差最小。,都要通过训练样本找到一个函数g(x),支持向量机与支持向量回归机,* 回归问题就是给定一个新的模式，根据训练集推断它所对应的输出y（实数）是多少。也就是使用y=g(x)来推断任一输入x所对应的输出值。分类问题是给定一个新的模式，根据训练集推断它所对应的类别（如：+1，-1）。也就是使用y=sign(g(x)来推断任一输入x所对应的类别。,支持向量回归机模型,支 持向量回归机实在研究二分类问题的基础上提出的。假定在线性可分训练集中，存在一超平面：实现拟合，那么它就将训练样本分为两类： 的训练样本和 的训练样本。若上述的超平面是实现这两类训练样本的最大间隔建立的平面，该超平面就可用于解决回归问题，它也就是要寻找的支持向量回归机。可以将其简化为最小化一个带线性不等式约束的二次函数凸规划问题： 设存在如下一个训练样本集，且线性可分： 可以转化为求解下列优化问题：,线性可分,支持向量回归机模型,引入拉格朗日乘子 至上述优化问题中，可得到拉格朗日函数：,原问题,对偶问题,根据带有不等式约束的极值问题的KKT条件：,w可看做是样本向量的线性组合,支持向量回归机模型,对偶问题,对上式规划问题进行求解，解得 不同时为0时对应的向量为支持向量，从而得到线性可分训练样本的SVR模型：,支持向量回归机模型,线性不可分,对于低维输入空间中非线性可分训练样本，是通过核函数将其映射到高维空间中使其线性可分：引入核函数,接受低维度输入值，产生高维度内积值,支持向量回归机模型,对该问题进行求解，解得 不同时为 0 时对应的向量为支持向量，从而得到非线性可分训练样本的SVR模型：,常用核函数,k代表支持向量的个数,常用的支持向量回归机算法包括 硬 、 、 .,支持向量回归机算法,线性硬,在回归问题中，理想状态 ： 事实上几乎不可能存在一个描述黑箱的函数 能够在理想情况下实现，通常，允许存在一个小的正数 ，使 ，则认为回归是无损的。,对偶,求解对偶问题 ， 或 对应的向量为支持向量。,给定样本集,选择合适的精度,求解对偶化最优问题,计算,选择 ，计算,构造线性硬 超平面,支持向量回归机算法,引入松弛变量 和惩罚参数C，将硬 软化。,原问题,对偶问题,支持向量回归机算法,构造Lagrange函数,由带有不等式约束极值问题的KKT条件（必要条件），可知：,由上式可知 ，且不同时为 0 ，且可得到下列式子：,支持向量回归机算法,支持向量回归机算法,当 ， 或 ，即 对应 为边界支持向量（BSV），管道外的向量。,当 ，可知 ， 或 ，即 ， 对应 为标准支持向量（NSV），管道上的向量。,当 ，可知 ， 或 即 ，对应 为非支持向量，管道内的向量。,支持向量回归机算法,非线性情形下，可引入核函数，进而对偶问题可化为：,求解得 ，对于 或 对应的向量为支持向量。,支持向量回归机算法,给定样本集,选择合适的精度 、C、,求解对偶化最优问题,构造线性硬 超平面,选择 ，计算,支持向量回归机算法,在硬 ， 中，需要事先确定参数 ，在某些情况下，选择合适的 是困难的，引入自动计算 的 ，在 原问题的基础上引入参数 ，得 原始问题：,对偶并引入核函数,总结,SVM,SVR,总结,核函数,参考文献,1 曾绍华. 支持向量回归机算法理论研究与应用. 控制理论与控制工程专业优秀论文.2 贾云峰. 基于支持向量回归的全局优化仿真优化算法. 硕士学位论文. 2011.3 冼广铭, 曾碧卿. -支持向量回归机算法及其应用. 计算工程与应用, 2008, 44(17):40-42. 4 Gunn, S. R. Support vector machines for classification and regression R. Southampton: Image Speech and Intelligent Systems Research Group, University of Southampton, 1997.5 Zeng, S., Wei, Y., Duan, T., et al. Research on an algorithm of support vector stepwise regressionC. Innovative Computing, Information and Control, 2006. ICICIC06. First International Conference on. IEEE, 2006, 3: 452-458.,
