《线性判别函数》PPT课件.ppt
《《线性判别函数》PPT课件.ppt》由会员分享,可在线阅读,更多相关《《线性判别函数》PPT课件.ppt(92页珍藏版)》请在三一办公上搜索。
1、第四章 线性判别函数,模式识别与神经网络Pattern Recognition And neural network,Table of Contents,4.1 引言,基于样本的Bayes分类器:通过估计类条件概率密度函数,设计相应的判别函数,最一般情况下适用的“最优”分类器:错误率最小,对分类器设计在理论上有指导意义。获取统计分布及其参数很困难,实际问题中并不一定具备获取准确统计分布的条件。,分类器功能结构,直接确定判别函数,基于样本的直接确定判别函数方法:设定判别函数形式,用样本集确定判别函数的参数。定义准则函数,表达分类器应满足的要求。这些准则的“最优”并不一定与错误率最小相一致:次优分
2、类器。实例:正态分布最小错误率贝叶斯分类器在特殊情况下,是线性判别函数g(x)=wTx(决策面是超平面)。那么我们能否基于样本直接确定w?,引言,线性分类器设计步骤,线性分类器设计任务:给定样本集K,确定线性判别函数g(x)=wTx的各项系数w。步骤:收集一组已知类别的样本K=x1,x2,xN按需要确定一准则函数J(K,w),其值反映分类器的性能,其极值解对应于“最好”分类。用最优化技术求准则函数J的极值解w*,从而确定判别函数,完成分类器设计。,对于未知样本x,计算g(x),判断其类别。,引言,设计,应用,线性判别函数,d维空间中的线性判别函数的一般形式:,x是样本向量,即样本在d维特征空间
3、中的描述,w是权向量,w0是一个常数(阈值权)。,引言,两类问题的分类决策规则,引言,规则表达1,规则表达2,线性判别函数的几何意义,决策面(decision boundary)方程:g(x)=0决策面将特征空间分成决策区域。向量w是决策面H的法向量g(x)是点x到决策面H的距离的一种代数度量,引言,线性分类器的分类界面,分类界面的几何解释,线性分类界面H是d维空间中的一个超平面;分类界面将d维空间分成两部分,R1,R2分别属于两个类别;判别函数的权矢量w是一个垂直于分类界面H的矢量,其方向指向区域R1;偏置w0与原点到分类界面H的距离有关:,4.2 矩阵计算基础,矢量X可以看作是N维欧氏空间
4、中的一个点,用一个列矢量表示:,线性判别函数和判别界面,线性不可分情况,矩阵,矩阵可以看作是由若干个矢量构成的:,矩阵的秩,矩阵所有行向量的最大无关组个数称为行秩;矩阵所有列向量的最大无关组个数称为列秩;一个矩阵的行秩等于列秩,称为矩阵的秩。,转置,列矢量W的转置WT为一个行矢量;N*M的矩阵A的转置AT为一个M*N的矩阵。,矢量与矢量的乘法(1),设W和X为N维列矢量,结果是一个数。,矢量与矢量的乘法(2),设W和X为N维列矢量,结果是一个N*N维的矩阵。,矢量与矩阵的乘法,设W为N维列矢量,A为一个N*M的矩阵:,结果是一个N维列矢量。,正交,设W和X为N维列矢量,如果W与X的内积等于零:
5、,则称W与X正交,也称W垂直于X。,逆矩阵,A为一个N*N的方阵,A的逆阵用A-1表示,满足:,其中I为单位阵。一个矩阵的逆阵存在条件:1)是一个方阵,2)是一个满秩矩阵,矩阵的秩为N,矩阵的特征值和特征向量,A为一个N*N的方阵,如果有:,数称为A的特征值,矢量称为A的特征矢量。,矩阵的迹和行列式值,A为一个N*N的方阵,A的迹为主对角线元素之和:,矩阵的迹、行列式值与特征值之间的关系,矩阵A有N个特征值1,2,N,则有如下关系:,矩阵对数值变量微分,矩阵A(t)=aij(t)M*N,元素aij(t)是变量t的函数,矩阵A(t)对t的微分:,矩阵函数对矩阵的微分,矩阵X=(xij)M*N,M
6、*N元函数f(X),定义f(X)对矩阵X的导数:,常用矢量微分的性质,X和W为N维矢量,A为M*N的矩阵:,4.3 线性(与非线性)判别函数,一、两类问题二、多类问题,4.3.1线性判别函数,两类问题的线性判别函数,X0=(x1,x2,xN)T为待识模式的特征矢量;W0=(w1,w2,wN)T称为权矢量。,线性判别函数,x=(x1,x2,xd)t:特征矢量;w=(w1,w2,wd)t:权矢量;w0:偏置(bias)。,线性判别函数的增广形式,X=(x1,x2,xN,1)T称为增广的特征矢量;W=(w1,w2,wN,1)T称为增广的权矢量。,两类问题线性判别准则,多类问题(情况一),每一类模式可
7、以用一个超平面与其它类别分开;这种情况可以把M个类别的多类问题分解为M个两类问题解决;,多类问题(情况一),多类问题(情况一)判别规则,当d1(X)0,而d2(X)0且d3(X)0时,判别X属于1;当d2(X)0,而d1(X)0且d3(X)0时,判别X属于2;当d3(X)0,而d1(X)0且d2(X)0时,判别X属于3;其它情况,拒识。,多类问题(情况二),每两类之间可以用一个超平面分开,但是不能用来把其余类别分开;需要将M个类别的多类问题转化为 M(M-1)/2个两类问题。第i类与第j类之间的判别函数的为:,多类问题(情况二)判别准则,如果对任意ji,有dij(X)0,则决策X属于i。其它情
8、况,则拒识。,多类问题(情况二),多类问题(情况三),情况三是情况二的特例,不存在拒识区域。,多类问题(情况三)判别函数,M个类别需要M个线性函数:,判别准则:,广义线性判别函数,线性判别函数是形式最为简单的判别函数,但是它不能用于复杂情况。例:设计一个一维分类器,使其功能为:,判别函数:,引言,广义线性判别函数(2),二次函数的一般形式:,g(x)又可表示成:,映射XY,引言,广义线性判别函数(3),按照上述方法,任何非线性函数g(x)用级数展开成高次多项式后,都可转化成线性来处理。(缺点是维数灾难)一种特殊映射方法:增广样本向量y与增广权向量a,引言,广义线性判别函数(4),增广样本向量使
9、特征空间增加了一维,但保持了样本间的欧氏距离不变,对于分类效果也与原决策面相同,只是在Y空间中决策面是通过坐标原点的,这在分析某些问题时具有优点,因此经常用到。,线性判别函数的齐次简化:,引言,广义线性判别函数举例,例1:设五维空间的线性方程为55x1+68x2+32x3+16x4+26x5+10=0,试求出其权向量与样本向量点积的表达式wTx+w0=0中的w,x以及增广权向量与增广样本向量形式aTy中的a与y。,引言,答:样本向量:x=(x1,x2,x3,x4,x5)T权向量:w=(55,68,32,16,26)T,w0=10增广样本向量:y=(1,x1,x2,x3,x4,x5)T增广权向量
10、:a=(10,55,68,32,16,26)T,广义线性判别函数举例(2),例2:有一个三次判别函数:z=g(x)=x3+2x2+3x+4。试建立一映射xy,使得z转化为y的线性判别函数。,引言,答:映射XY如下:,广义线性判别函数举例(3),例3:设在三维空间中一个类别分类问题拟采用二次曲面。如欲采用广义线性方程求解,试问其广义样本向量与广义权向量的表达式,其维数是多少?,引言,答:设次二次曲面为:,二次曲面,广义权向量,广义样本向量,维数为10,广义线性判别函数,4.3.3 非线性判别函数的学习,一、二次判别函数二、分段线性函数三、其它非线性判别函数方法,XOR问题,二次判别函数,增加特征
11、的高次项,降低维特征转化为高维特征;2维特征的二次判别函数。,XOR问题的二次函数解,分段线性函数聚类的方法,分段线性函数逐块二分法,4.4 两类别线性判别函数的学习,一、问题的表达二、感知器算法三、最小均方误差算法(LMSE),问题的表达,已知两个类别的训练样本集合:,求向量W,使得d(X)=WTX,能够区分1类和2类。,问题的表达,矩阵形式描述,X称为增广矩阵。,权矢量的解,只有当样本集线性可分的条件下,解才存在;线性不等式组的解是不唯一;,4.5 感知器准则,感知器准则是五十年代由Rosenblatt提出的一种自学习判别函数生成方法,由于Rosenblatt企图将其用于脑模型感知器(Pe
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 线性判别函数 线性 判别函数 PPT 课件
链接地址:https://www.31ppt.com/p-4848088.html