ch5多类分类器的设计之第五章 分段线性判别函数ppt课件.ppt

多类分类器的设计,分段线性判别函数法（分段LDA法）,第五章 非线性判别函数,5.1 分段线性判别函数法,利用线性判别函数设计多类分类器有多种方法.例如，可以把c类问题化为c-1个两类问题，其中第i个问题是用线性判别函数把属于类的点同不属于类的点分开，见p112图4.14(a),问题的提出,多类分类器的设计,再麻烦一些的方法是用c(c-1)2个线性判别函数，把样本分为c个类别，每个线性判别函数只对其中的两个类别分类，如p112图4.14(b)所示。,这两种方法都会产生如图中的阴影区域，对这个阴影区域中的点，无法确定其类别。,第三种方法是,这方法不会产生如前的阴影区域（无法确定其类别），如右图所示。,分段线性判别函数的基本概念,多类分类器的设计,用分段线性判别函数解决问题的思路,多类分类器的设计,解决问题的关键,5.1.1一种简单的基于距离的分段线性判别函数,多类分类器的设计,多类分类器的设计,5.1.3 分段线性分类器设计的一般考虑,多类分类器的设计,2) 已知子类数目li ，但不知子类划分情况时,算法步骤：,（1）赋初值,分别给 个子类的权矢量 赋任意的初值，选择正常数 ，置步数,（2）输入已知类别的增广训练模式 ，计算,（3）修正权矢量，修正规则是：,(4) if kN ,令k=k+1,返至；if k=N，检验判别函数是否对都能正确分类，若是，结束；否则，令k=1，返至。,未知子类数目(这是一般的情况),多类分类器的设计,需要指出,这种方法对初始权向量的选择很敏感，其结果随初始权向量的不同而大不相同.此外，在每个节点上所用的寻找权向量i的方法不同.结果也将各异.通常可以选择分属两类的欧氏距离最小的一对样本，取其垂直平分面的法向量作为1的初始值然后求得局部最忧解1*作为第一段超平面的法向量对包含两类样本的各子类的划分也可以采用同样的方法,5.2用凹函数的并表示分段线性判别函数（针对多峰情况）,设Li为线性判别函数，i=1,2,.r则：,(a)：L1,L2,Lr都是分段线性判别函数(b)：若A,B都是分段线性判别函数，则： AB ，AB也是分段线性判别函数。 AB取最小 ，AB取最大。(c)：对任何分段线性函数都可以表示成如下二种形式：,1)、析取范式(这是经常采用的形式)2)、合取范式每个都称为凹函数。,每个凹函数粗略地规定了某个类的一个峰。,对于多峰二类问题：设第一类有q个峰，则有q个凹函数。即P=P1P2Pq每个凹函数Pi由m 个线性判别函数来构成。Pi=Li1Li2Lim假设对于每个子类线性判别函数Lij都设计成：,例、设如图,P=(L11L12 L13 L14 L15) (L21L22 L23 L24) (L31L32 L33 L34),5.3 用交遇区的样本设计分段线性分类器- 一种实现最少分段线性分类器的方法,交遇区当两类样本非线性可分时,贝叶斯分界面一般通过两类样本十分靠近或相互交迭的区域,我们称之为“交遇区”,如图5.10所示.其中a,c是交迭区,b是靠近区局部训练法把这些区域找出来，利用这些区域中的样本作为新的样本集设计线性判别函数，然后把它们连在一起，就构成了一个分段线性判别函数. 这种方法称为“局部训练法”,多类分类器的设计,(1)如何从样本集中找出“交遇区”；(2)如何利用“交遇区”中的样本设计线性分类器；(3)如何进行分类决策。,多类分类器的设计,需要解决的问题:,prototype,5.4 二次判别函数,二次判别函数一般可表示成：,25,二次判别函数图例,