判别分析论文.doc

《判别分析论文.doc》由会员分享，可在线阅读，更多相关《判别分析论文.doc（14页珍藏版）》请在三一办公上搜索。

1、判别分析论文学校：南通大学学院：杏林学院学科：多元统计分析 班级：金融统计101 学号：1002103008姓名：陈昕昕指导老师：于长俊判别分析摘要： 判别分析是判别样品所属类型的一种统计方法，其应用之广可与回归分析媲美.本文通过介绍判别分析的概念和应用领域，对其进行分类，并对其中的某些方法进行具体介绍，如距离判别法和费希尔判别法，然后应用某些常见的判别分析方法解决实际问题.关键词：判别分析；概念；应用领域；距离判别法；费希尔判别;实际问题The application of discriminate analysisAbstract：The discriminate analysis is

2、a kind of statistical method that distinguishes the type that sample belongs to, it is applied widely which can match with regression analysis in excellence.In this paper, introduce the concept and application field of discriminate analysis ,and then do some classifications according to it. Then we

3、introduce some kinds of discriminate analysis,such as discriminate analysis by distance and Fishers discriminate analysis. At last,we solve two pratical problemes,by method of discriminate analysis by distance or Fishers discriminate analysis.Keywords ：discriminate analysis ；concept； application fie

4、ld；discriminate analysis by distance ； Fishers discriminate analysis；pratical problemes目录一、 引言.4 1.1 什么是判别分析.4 1.2 判别分析的方法.4 1.3 判别分析的统计背景.4二、距离判别法.62.1什么是距离判别法.6 2.2马氏距离.6 2.2.1概念.6 2.2.2定义.6 2.2.3马氏距离的优缺点.7 2.3距离判别法的基本思想.7 2.4距离判别法的判别函数和判别准则7三、贝叶斯判别法83.1什么是贝叶斯判别法8 3.2贝叶斯判别法的基本思想.8 3.3贝叶斯判别法的准则8 3.

5、4贝叶斯判别法的分类函数8四、Fisher判别法.9 4.1什么是Fisher判别法.9 4.2Fisher判别法的基本思想.9 4.3Fisher判别法判别函数和判别准则9五、实例分析.9六、参考文献.14一、引言 11什么是判别分析 判别分析产生于20世纪30年代，是利用已知类别的样本建立判别模型，为未知类别的样本判别的一种统计方法。近年来，判别分析在自然科学、社会学及经济管理学科中都有广泛的应用。判别分析是根据观测到的某些指标对所研究的对象进行分类的一种多元统计分析方法。判别分析的特点是根据已掌握的、历史上每个类别的若干样本的数据信息，总结出客观事物分类的规律性，建立判别公式和判别准则。

6、当遇到新的样本点时，只要根据总结出来的判别公式和判别准则，就能判别该样本点所属的类别。判别分析按照判别的组数来区分，可以分为两组判别分析和多组判别分析。 12 判别分析的方法 判别分析(DiscriminatoryAnalysis)的任务是根据已掌握的批分类明确的样品，建立较好的判别函数，使产生错判的事例最少，进而对给定的1个新样品，判断它来自哪个总体。根据资料的性质，分为定性资料的判别分析和定量资料的判别分析；采用不同的判别准则，又有距离、贝叶斯、费歇等判别方法。 距离判别思想是根据各样品与各母体之间的距离远近作出判别。即根据资料建立关于各母体的距离判别函数式，将各样品数据逐一代入计算，得出

7、各样品与各母体之间的距离值，判样品属于距离值最小的那个母体。贝叶斯（BAYES）判别思想是根据先验概率求出后验概率，并依据后验概率分布作出统计推断。所谓先验概率,就是用概率来描述人们事先对所研究的对象的认识的程度；所谓后验概率，就是根据具体资料、先验概率、特定的判别规则所计算出来的概率。它是对先验概率修正后的结果。费歇（FISHER）判别思想是投影，使多维问题简化为一维问题来处理。选择一个适当的投影轴,使所有的样品点都投影到这个轴上得到一个投影值。对这个投影轴的方向的要求是：使每一类内的投影值所形成的类内离差尽可能小，而不同类间的投影值所形成的类间离差尽可能大。1.3判别分析的统计背景判别分析

8、的方法有参数方法和非参数方法。参数方法假定每个类的观测来自（多元）正态分布总体，各类的分布的均值（中心）可以不同。非参数方法不要求知道各类所来自总体的分布，它对每一类使用非参数方法估计该类的分布密度，然后据此建立判别规则。记X为用来建立判别规则的P维随机变量，S为合并协方差阵估计，t=1,.,G为组的下标，共有G个组。记nt为第t组中训练样本的个数，m_t为第t组的自变量均值向量，St为第t组的协方差阵， | St | 为St的行列式，qt为第t组出现的先验概率，p(t|x)为自变量为x的观测属于第t组的后验概率，ft(x)为第t组的分布密度在X=x处的值，f(x)为非条件密度。按照Bayes

9、理论，自变量为x的观测属于第t组的后验概率p(t | x) = qtft(x) / f(x)。于是，可以把自变量X的取值空间RP划分为G个区域Rt,t=1,.,G，使得当X的取值x属于R_t时后验概率在第t组最大，即建立的判别规则为：计算自变量x到每一个组中心的广义平方距离，并把x判入最近的类。广义平方距离的计算可能使用合并的协方差阵估计或者单独的协方差阵估计，并与先验概率有关，定义为其中Vt = St （使用单个类的协方差阵估计）或 Vt = S（使用合并的协方差阵估计）。mt可以用第t组的均值overlineX_t代替。在使用合并协方差阵时，其中xS 1x是共同的可以不考虑，于是在比较x到

10、各组中心的广义平方距离时，只要计算线性判别函数，当x到第t组的线性判别函数最大时把x对应观测判入第t组。在如果使用单个类的协方差阵估计Vt = St则距离函数是x的二次函数，称为二次判别函数。后验概率可以用广义距离表示为因此，参数方法的判别规则为：先决定是使用合并协方差阵还是单个类的协方差阵，计算x到各组的广义距离，把x判入最近的组；或者计算x属于各组的后验概率，把x判入后验概率最大的组。如果x的最大的后验概率都很小（小于一个给定的界限），则把它判入其它组。非参数判别方法仍使用Bayes后验概率密度的大小来进行判别，但这时第t组在x处的密度值ft(x)不再具有参数形式，不象参数方法那样可以用m

11、t和St（或St）表示出来。非参数方法用核方法或最近邻方法来估计概率密度ft(x)。最近邻估计和核估计也都需要定义空间中的距离。除了可以用欧氏距离外，还可以用马氏（Mahalanobis）距离，定义为：其中Vt为以下形式之一：Vt = S合并协方差阵Vt = diag(S)合并协方差阵的对角阵Vt = St第t组内的协方差阵Vt = diag(St)第t组内的协方差阵的对角阵Vt = I单位阵，这时距离即普通欧氏距离二、距离判别法 2.1什么是距离判别法 距离判别是以代判样品到各总体的距离远近为判据的一种直观判别方法，也称为直观判别法。 2.2 马氏距离 2.2.1概念 马氏距离是由印度统计学

12、家马哈拉诺比斯(P. C. Mahalanobis)提出的，表示数据的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法。与欧式距离不同的是它考虑到各种特性之间的联系（例如：一条关于身高的信息会带来一条关于体重的信息，因为两者是有关联的）并且是尺度无关的(scale-invariant)，即独立于测量尺度。对于一个均值为，协方差矩阵为的多变量向量,其马氏距离为(x-)(-1)(x-)(1/2)。 2.2.2定义 马氏距离也可以定义为两个服从同一分布并且其协方差矩阵为的随机变量与的差异程度。如果协方差矩阵为单位矩阵,那么马氏距离就简化为欧式距离。如果协方差矩阵为对角阵,则其也可称为正规化

13、的欧氏距离。其中i 是 xi 的标准差.2.2.3马氏距离的优缺点优点：它不受量纲的影响，两点之间的马氏距离与原始数据的测量单位无关；由标准化数据和中心化数据(即原始数据与均值之差）计算出的二点之间的马氏距离相同。马氏距离还可以排除变量之间的相关性的干扰。缺点：它的缺点是夸大了变化微小的变量的作用。 如果用dij表示第i个样品和第j个样品之间的距离，那么对一切i，j和k，dij应该满足如下四个条件： 当且仅当i=j时，dij=0 dij0 dij=dji（对称性） dijdik+dkj（三角不等式）缺点：1）马氏距离的计算是建立在总体样本的基础上的，这一点可以从上述协方差矩阵的解释中可以得出，

14、也就是说，如果拿同样的两个样本，放入两个不同的总体中，最后计算得出的两个样本间的马氏距离通常是不相同的，除非这两个总体的协方差矩阵碰巧相同； 2）在计算马氏距离过程中，要求总体样本数大于样本的维数，否则得到的总体样本协方差矩阵逆矩阵不存在，这种情况下，用欧式距离计算即可。 3）还有一种情况，满足了条件总体样本数大于样本的维数，但是协方差矩阵的逆矩阵仍然不存在，比如三个样本点（3，4），（5，6）和（7，8），这种情况是因为这三个样本在其所处的二维空间平面内共线。这种情况下，也采用欧式距离计算。 4）在实际应用中“总体样本数大于样本的维数”这个条件是很容易满足的，而所有样本点出现3）中所描述的情

15、况是很少出现的，所以在绝大多数情况下，马氏距离是可以顺利计算的，但是马氏距离的计算是不稳定的，不稳定的来源是协方差矩阵，这也是马氏距离与欧式距离的最大差异之处。 2.3 距离判别的基本思想 距离判别法的基本思想是，先根据已知分类的数据，分别计算各类的重心，然后计算待判样本与各类的距离，与哪一类距离最近，就判待判样本x属于哪一类。 2.4 距离判别的判别函数和判别准则 判别函数为： W(x) = D(x,G2) D(x,G1)判别准则为： W(x)0三、贝叶斯判别法 3.1 什么是贝叶斯判别法 贝叶斯判别是根据最小风险代价判决或最大似然比判决，是根据贝叶斯准则进行判别分析的一种多元统计分析法。3

16、.2 贝叶斯判别法的基本思想 贝叶斯判别法的基本思想是：设有两个总体，它们的先验概率分别为q1 、 q2，各总体的密度函数为f1(x) 、f2(x) ，在观测到一个样本x的情况下，可用贝叶斯公式计算它来自第k个总体的后验概率为：一种常用判别准则是：对于待判样本x，如果在所有的P(Gk / x)中P(Gh / x)是最大的，则判定x属于第h总体。通常会以样本的频率作为各总体的先验概率。3.3 贝叶斯判别法的准则 设有定义明确的g个总体1,2,g, 分别为X1,X2,Xp的多元正态分布。对于任何一个个体, 若已知p个变量的观察值,要求判断该个体最可能属于哪一个总体。 如果我们制订了一个判别分类规则

17、, 难免会发生错分现象。把实属第i类的个体错分到第j类的概率记为P(ji),这种错分造成的损失记为C(ji)。 Bayes判别准则就是平均损失最小的准则。按照这个准则去找一种判别分类的规则,就是Bayes判别。3.4 贝叶斯判别法的分类函数Byes准则下判别分析的分类函数形式如下： Y1=C01+C11X1+C21X2+Cp1Xp Y2=C02+C12X1+C22X2+Cp2Xp Yg=C0g+C1gX1+C2gX2+CpgXp 设有定义明确的g个总体1,2,g, 分别为X1,X2,Xp的多元正态分布。对于任何一个个体, 若已知p个变量的观察值,要求判断该个体最可能属于哪一个总体。 如果我们制

18、订了一个判别分类规则, 难免会发生错分现象。把实属第i类的个体错分到第j类的概率记为P(ji),这种错分造成的损失记为C(ji)。 Bayes判别准则就是平均损失最小的准则。按照这个准则去找一种判别分类的规则,就是Bayes判别。四、Fisher判别法 4.1什么是Fisher判别法 Fisher判别是一种先进行高维向低位投影，再根据距离判别的一种方法。借助方差分析的思想构造判别函数（相当于一种投影），使组间区别最大、组内离差最小，然后代入新样本数据，将其与判别临界值比较以确定应判为至哪一总体。 4.2 Fisher判别法的基本思想 Fisher判别法的基本思想是通过将多维数据投影至某个方向上

19、，投影的原则是将总体与总体之间尽可能分开，然后再选择合适的判别规则，将待判的样本进行分类判别。所谓的投影实际上是利用方差分析的思想构造也一个或几个超平面，使得两组间的差别最大，每组内的差别最小。 4.3 Fisher判别函数和判别准则 判别函数： 判别准则： ，y1 y2,y y0 ，y1 y2,y y0 ，y1 y0 ，y1 y2,y d | G=g)P(G=g | D=d)Squared Mahalanobis Distance to CentroidGroupP(G=g | D=d)Squared Mahalanobis Distance to CentroidFunction 1Fun

20、ction 2pdfOriginal111.4292.9981.6932.00213.9872.7551.127211.4192.9771.7392.0219.4462.0471.261311.5752.9991.1072.00016.4282.877-.854413*.1002.5784.5971.2656.153.430-1.788511.7882.999.4752.00114.8712.886.008622.4022.4571.8203.4032.072.161-.264722.4382.7001.6503.3003.347-2.0351.186823*.9032.518.2052.48

21、0.356-1.158-.032922.4162.6621.7541.1694.479.323.9321022.5652.6161.1423.3842.084-1.971.7861132*.9912.616.0173.379.987-.842.4281233.8692.681.2802.3141.833-.873-.8311333.2362.8392.8842.1446.407-.447-1.9621433.4632.5871.5402.4132.240-2.369.0901533.8112.583.4192.4171.087-1.783-.086*. Misclassified case在上

22、表中针对每个样品给出了大部分的判别结果。5、由于我们在save子对话框中选择生成了表示判别结果的新变量，所以在数据编辑窗口中，可以观察到产生的新变量。其中，变量dis-1存放判别样品所属组别的值，变量dis1-1和dis2-1分别代表将样品值带入第一个和第二个判别函数所得的判别分数，变量dis1-2、dis2-2和dis3-2分别代表样品分别属于第一组、第二组和第三组的贝叶斯后验概率值。六、参考文献1、2、3、4、 龚昌来，赵庭红运用判别分析法对经济差距的分类J.统计与决策，2006.7. 5、 李芝兰. 多元判别分析法在财务分析中的运用J.财务管理，1998. 6、 郭志，温敏基于判别分析法的上市公司财务困境预警研究J财会研究.2007. 7、王化成.中国上市公司盈余质量研究M,北京：中国人民大学出版社，20088、钱晟主编:税收管理.北京：中国人民大学出版社，20029、马庆国著:管理统计：数据获取、统计原理SPSS工具与应用研究.北京：科学出版社，2002