神经网络配套pptCh12presSVM.ppt

支持向量机(SVM)网络,褒剧筏寄背讹栋狞停是领剂刃鹤办四乖淆臼颠鳃喀绍瘪夜措爪反省碘武径神经网络_配套ppt_Ch12_pres(SVM)Improved Backpropagation,最优线性分界面（二分类问题）对线性可分集，总能找到使样本正确划分的分界面，而且有无穷多个，哪个是最优的？一种最优的分界准则（从对样本及参数的鲁棒性看）是使两类模式向量分开的间隔最大。,支持向量机,年熔坑墙轧衔栏厅虑嚏唆堪局济皇吁钳硼叭美熟誉汇先槐孤佰袍渴喉苟疤神经网络_配套ppt_Ch12_pres(SVM)Improved Backpropagation,最优线性分界面的确定两分类的线性判别函数的一般表达式为：。方程 定义了一个超平面H，它把两类训练样本完全分开。设个样本为：，则有分类规则：，由于训练集线性可分，改变权向量的摸，总可改写分类规则为：，进一步合并有紧凑式：同样还有：,支持向量机,呆庸恬证漳初捌虞萧铂敢欲肾伦哆词仙优杏淌赋儡跑叁期绷鄂鹤傍伸滥雍神经网络_配套ppt_Ch12_pres(SVM)Improved Backpropagation,最优线性分界面的确定（续）g(x)可以看成是从x到超平面的距离的一种度量，见图。把x表示成：，其中r是x到的垂直距离，则有：，即：,支持向量机,卉醋男逊盾英垂窿凰霸设霍督矿增别集仅磨氓想兑锥络能您究梢降来代胶神经网络_配套ppt_Ch12_pres(SVM)Improved Backpropagation,最优线性分界面的确定（续）间隔：离分界面H最近的样本点(即使 的样本点)与分界面的距离，它是。这样，两类模式间隔的距离为。最优分界面：为使两类间隔最大，应使 最小，等价于使 最小。所以，最优分界面应满足：和支持向量：距离最优分界面最近的位于间隔边界上的那些样本向量，也就是使得等号或 成立的那些样本向量。,支持向量机,去塌匝梅贮物氰喻衍亢卡谬念平珊诊脉扎蒲妖痘酌齐兆轿肯痞右沏哩直倾神经网络_配套ppt_Ch12_pres(SVM)Improved Backpropagation,最优分界面的求解用Lagrange乘子法最小化代价函数：。构造Lagrange函数：其中 为Lagrange乘子，达到极值的必要条件为：必要条件1：即：必要条件2：即：从最优化理论的KTT条件得出解必须满足：从必要条件1看到，只有 的样本对权起作用，而此 时必有，即相应的样本是支持向量。故解向量w是由支持向量构建的，它们决定分类结果。,支持向量机,冰苦样揪吓传椽龄狱织邮浩迸筐宠褒撕桔拦湍处吮珠浪讳俘甘匈它仕蒲工神经网络_配套ppt_Ch12_pres(SVM)Improved Backpropagation,最优分界面的求解（续）根据Lagrange优化方法，用对偶定理求乘子 最优解。展开Lagrange函数有：将 和 代入上式，则有：求上式的最大值，可得最优解，则最优权向量为：（是支持向量的个数）最优偏置可选用一个支持向量样本求得：。最优分界面是：,支持向量机,经令戊价关鳖通凉柱坡皮畏骆帐然奄艳蓄截送雷污例屹排泌阵美静荆因苞神经网络_配套ppt_Ch12_pres(SVM)Improved Backpropagation,线性不可分问题向高维空间（特征空间）映射模式可分性的Cover定理 将复杂的模式分类问题非线性地投射到高维空间将比投射到低维 空间更可能是线性可分的。基本原理 通过某种非线性映射 将样 本映射到一个高维空间（特征空间），在这个高维空间中构造最 优分类超平面：在特征空间用线性可分的结果，即代入上式得这样在映射到高维空间也只须进行内积运算，这是可以用原空间 的函数实现的。根据泛函理论，只要核函数 满足Mercer条件，它就对应某个变换空间中的内积。,支持向量机,问皑痕阅邯正化淹伊缘系竖吠庐惯仍齐饮祖锦芦撅障渤爵兑蛛对膝噪蛾地神经网络_配套ppt_Ch12_pres(SVM)Improved Backpropagation,线性不可分问题（续）向高维空间（特征空间）映射只要找到适当的核函数 就可实现某个非线性变换后的线性分类，类似线性可分情形有：对 求以下函数的极大值 满足约束条件 和。设最优解为，则最优分界面可写为：,支持向量机,闷牢或茅啊吾翼搬凉侠抹情删辐釉歪骤揭持晕咖您碧它钡觉组城修妖酥柑神经网络_配套ppt_Ch12_pres(SVM)Improved Backpropagation,线性不可分问题（续）向高维空间（特征空间）映射不同的核函数将形成不同的算法，常用的有：多项式核函数：径向基函数：支持向量机的结构图,支持向量机,sgn(),y,害桐孪锐揪帐戚瘫纱舆佛坍锁蜕眺巷谣她拓糜刃培肄询者疚试磺咀涝伪瞪神经网络_配套ppt_Ch12_pres(SVM)Improved Backpropagation,线性不可分问题（续）（映射后也不能保证线性可分）增加松弛项，使分界面在训练集上平均分类误差最小。原问题为：寻找权向和偏置的最优值，使得它们们满足约束条件 和，其中松弛变量 时，是支持向量 松弛变量，落入间隔区，在分界面的正确一侧 松弛变量 时，落入分界面的错误一侧 此时，使得权向量和松弛变量最小化代价函数为 其中 是个常数，由使用者选定控制对错分样本的惩罚程度,支持向量机,墨茄宙沥搪编迹唬持忙平犊魏券耳鲜惊惰部覆妇暇泌蠢寂虏栓业展歪醇溢神经网络_配套ppt_Ch12_pres(SVM)Improved Backpropagation,对偶问题为：寻找Lagrange乘子最大化目标函数 满足约束条件 和（此项与前面线性可分情况结果不同）,支持向量机,琴即已昼揪压鸟携都殃秘位锅许茄缠粒王减码龄忻嘿泰霖娘俩糊眩著谁娥神经网络_配套ppt_Ch12_pres(SVM)Improved Backpropagation,支持向量机的设计算法在能够进行变换 的情况下：（1）在约束条件 和（或）下求函数 极大值点；（2）计算最优权值和偏置值：，；（3）支持向量机的最优分界面为：。在选择核函数 避免进行变换情况下，不同处有：（1）求函数 极大值点；（2）计算最优权值：，其中 是隐层输出；（3）支持向量机的最优分界面为：,支持向量机,辊形戴液笑借纹避瑰傀胺寐午埠砸辰劈盗系盅投芭托甘袄帖伪选捞湍易炯神经网络_配套ppt_Ch12_pres(SVM)Improved Backpropagation,支持向量机的特点适合对小样本数据的学习，注重样本自身信息，而非产生样本的规律（概率及条件概率等）。网络结构简单，只有一个隐层，隐层的节点数由所求得的支持向量个数自动决定。可以根据核函数的选择自动计算重要的网络参数。在解决模式分类问题方面，能提供较好的泛化性能。有些参数（如控制对错分样本惩罚程度的C）不易确定。虽然可以不需知道非线性映射 的具体形式，但非线性映射的核函数 不易得。判定一个给定的核函数是否满足Mercer定理条件是一件困难事。在待分类的模式为线性不可分时，怎样控制支持向量的选择是一个困难的问题。,支持向量机,芝胳亨尧悟洪躬雀袍贺协琶淡站秘石鱼菱蝗犊冕隔咋尉椅逊艰骂酿十陀虐神经网络_配套ppt_Ch12_pres(SVM)Improved Backpropagation,支持向量机类型的RBF网络和MLP网络RBF网络Gauss核函数；对所有核相同，由设计者预先指定；隐层节点的数量由支持向量的个数自动决定；中心由支持向量的值自动决定。单隐层MLP网络Sigmoid核函数，其中只有一些特定的，值满足Mercer定理；隐层节点的个数由支持向量的个数自动决定；隐节点的权值由支持向量的值自动决定。,支持向量机,釜友琐肢满喘暂璃拒隆腿熏官肥停蛆钉祟陡生逆下世择蕾汐骋离洪花萄救神经网络_配套ppt_Ch12_pres(SVM)Improved Backpropagation,支持向量机设计举例 XOR问题训练样本：方法一：选择非线性映射函数：将二维输入样本映射到一个六维特征空间。（1）求极值满足约束条件：(即必要条件2:),支持向量机,景拄舟荧淄谩晌迈死碑雇臆若破终埂柯淄劲雨锑醋鼻堕寄颗碌孵焕骇毙凳神经网络_配套ppt_Ch12_pres(SVM)Improved Backpropagation,支持向量机设计举例 XOR问题（续）方法一（续）：对 求导并令导数为零，得到下列联立方程组：解得极值点为，。可见4个样本都是支持向量。（2）计算最优权值和偏置值：,支持向量机,和珊命培凉林净谴碗池娥虐藩筏晚痛裴贾象焕雁沾腺泞挺礁烙喝仗撑蜗折神经网络_配套ppt_Ch12_pres(SVM)Improved Backpropagation,支持向量机设计举例 XOR问题（续）方法一（续）：（3）支持向量机的最优分界面为：,支持向量机,哦边祝礼溺翁岳孔撇会梦稀荔煽硝屏暇试求便赏瓦想馁惭沿阜单粒躬开糙神经网络_配套ppt_Ch12_pres(SVM)Improved Backpropagation,支持向量机设计举例 XOR问题（续）方法二：选择核函数为：将 和 代入上式，核函数可表为：将各训练样本代入，可计算出4*4对称矩阵为：9 1 1 1 K=1 9 1 1 1 1 9 1 1 1 1 9（1）用拉格朗日乘子法求极大值点：,支持向量机,菲素署班地薄铜港荆购颤涤钝丛声加垃门戴斩陌鳞樊冀雄兔译拼寒坤退贝神经网络_配套ppt_Ch12_pres(SVM)Improved Backpropagation,支持向量机设计举例 XOR问题（续）方法二（续）：对 求导并令导数为零，得到下列联立方程组：解得极值点：。由于4个样本都是支持向量，隐层应有4个节点，各节点的输出为：，（2）计算最优权值和偏置值：其中,支持向量机,盒勤娠氖尝昔乓剑检汀跟粟坪袋闽忙刀解赔庶醇伙编隋信贴蹋翱玄蹦逃詹神经网络_配套ppt_Ch12_pres(SVM)Improved Backpropagation,支持向量机设计举例 XOR问题（续）方法二（续）：（3）支持向量机的最优分界面为：即:将 和下式()代入上式 整理后有:,支持向量机,配谓份泌佃遇署囚桥丢氛姜涪釉苫鹤京季阅漂元销氮墅蜡尉撅包哭嘲矽竹神经网络_配套ppt_Ch12_pres(SVM)Improved Backpropagation,思考题,从结构、学习、功能和性能等方面，对含单隐层MLP网络、RBF网络和SVM网络进行详细比较，并结合自己的研究领域讨论它们的应用前景。,镁谱殴侄癣辅闻脂决迪您秆忱展慌葵爹骂脓廉吩寐渗羹塌像型皆搐贸笺运神经网络_配套ppt_Ch12_pres(SVM)Improved Backpropagation,