CRM挖掘算法应用举例_0.docx

CRM挖掘算法应用举例.0200.9660.015D0.1840.2630.5520.0960.1430.7600.0530.0990.8490.0540.1020.843E0.5170.2920.1910.5910.2680.1400.9300.0490.0210.9280.0510.022F0.0370.9360.0280.0580.9040.0380.0610.8850.0540.0600.8660.053G0.2200.2920.4890.1630.2250.6110.0620.1040.8340.0600.1020.838H0.5220.3600.1170.3560.5410.1040.1610.7480.0910.1610.7480.091从上面迭代隶属度表中可以看出，当迭代到第七次时，案属度己经收敛(=0.05),从上表得出分类结果为：第一类B,E,其次类A,C,F,H,第三类D,G),于是，可以得出职工B、E属于优等，职工A、C、F、H属于一般，职工D、G欠佳的结论，结论是合理的、易理解的。ID3算法学习过程在学习起先的时候，只有一棵空的决策树，并不知道如何依据属性将实例进行分类，我们所要做的就是依据训练实例集构造决策树来预料如何依据属性对整个实例空间进行划分。设此时训练实例集为X,目的是将训练实例分为n类。设属于第i类的训练实例个数是Ci,X中总的训练实例个数为IXl,若记一个实例属于第i类的概率为P(Ci),则：XCCPii=)(此时决策树对划分C的不确定程度为：=)(log)0：(iiCpCpCXH以后在无混淆的状况下将H(X,0筒记为H(X)o=ijijjijijjijiaaCpaaCpaapaaCpaaCpaXH)(log)()()(log)；()/(i=jjiJijaaCpaaCpaap)/(log)()(决策树学习过程就是使得决策树对划分的不确定程度渐渐减小的过程。若选择测试屈性a进行测试，在得知a=aj的状况下属于第i类的实例个数为Cij个。记p(Ci：a=aj)=Cij/1Xl,即p(C；a=aj)为在测试属性a的取值为aj时它属于第i类的概率。此时决策树对分类的不确定程度就是训练实例集对属性X的条件楠。i=jIjijaaCaaCpXH)/log()/()(又因为在选择测试属性a后伸出的每个a=aj叶结点Xj对于分类信息的信息端为j=jJXHaapaXH)()0/(1)属性a对于分类供应的信息量H(X;a)为：)/()();(aXHXHaXH=(2)式(1)的低越小则式(2)的值越大，说明选择测试属性a对于分类供应的信息越大，选择a之后对分类的不确定程度越小。Quinlan的ID3算法就是选择使得H(X;a)最大的属性作为测试屈性，即选择使得式(1)最小的属性a。ID3算法应用举例下面结合商店定位实例提出一个可行的决策树分析方法。某公司是一家专业的西服生产厂家，在全国各大城市均设立了连锁销售商店。公司为进一步扩大销售，拟定建立一批新的连锁销售商店。为了对连锁销售商店的位置、规模等有一个志向的定位，公司收集了以前设立的商店和同行的同类商店的具体状况，并对其经营效果作了评估，如下表所示(限于文章篇幅，仅以位置、规模、档次3个属性、每个属性两种取值为例)。已设立的商店和同行的同类商店的具体状况表商店个数位置档次规模经营效果20市中心高大一般15市中心高一般胜利8市中心一般大胜利6城乡结合部高一般一般6城乡结合部一般一般胜利10市中心一般一般一般决策树分析首先针对上表计算各个属性的信息烯，并将属性从大到小重新排列。计算得：H(X/位置)=(53/65)*(-23/53)*1.0G(23/53)+(-30/53)*1.OG(30/53)+(1265)*(-612)*log(612)+(-612)*log(612)=0.298H(X/档次)=(41/65)(-15/41)*1og(15/41)+(-26/41)*1og(26/41)+(2465)*(-1424)*log(1424)+(-1024)*log(1024)=0.289U(X/规模)=(28/65)*(-828)*log(8/28)+(-20/28)*log(20/28)+(37/65)*(-21/37)*log(21/37)+(-16/37)*log(16/37)=0.281本例中，以规模对分类的贡献最大，所以应首先按规模进行划分。其次步，建立决策树：首先按规模建立决策树，得到数据的第一次分组，然后依按同样方法按位置或档次分组（对分组得到的两个子组按第一步形式进行同样的计算得到数据的其次次分组和数据的第三次分组。三次划分后的决策树如图4.2所示：29胜利，36一般15胜利，26一般14胜利，10一般规模=大规模=一般15胜利，20一般6一般位置=城乡位置=市中心档次=高档次=一般8胜利，10一般6胜利位置=市中心位置=城乡15胜利20一般8胜利10一般档次=高档次=一般图4.2第三步，从决策树中得出决策规则，如下：Rulel:规模=大并且位置=市中心并且档次=一般胜利的商店RUle2:规模=一般并且位置=市中心并且档次=高胜利的商店Rule3:规模=一般位置=城乡结合部胜利的商店从上述规则得出结论：公司产品在市中心的商店可以有两种选择，一是大众化、规模化超市型，另一种是精品、专卖店型。在城乡结合部则不宜过分追求大型，应以规模适度为宜。第四步，利用决策树和导出的规则对安排新开设的商店是否合适做出评估。PRISM算法PRISM算法可不首先产生决策树而干脆产生分类规则，并且得到的规则比从决策树中取得的规则要简练一些。(1)信息增益(InformatiOngairI),从上可以看出，关键在于选择个属性进行划分，为了避开运用属性的无关值和对分类无关的属性，PRISM力图极大化已知属性取值时对某一分类所供应的信息量。如上所述，属性值可以看成是离散信息系统中的离散信息。信息i中关于某一事务的信息量为例如，下表表示隐形眼睛配置决策表，眼镜师列出了对四种因素不同组合的各种诊断：隐形眼睛配置决策表决策3序号属性值abcd序屈性值决策1131415216173181932031321311310的有22321242211212132332223在训练例集合S中,21312屈于1类4个例，属于2类的有5个例，属于3类的行15例。所以，一个训练例屈于1类的概率P(I)是4/24o这样，假如信息i是1(即分类为1),则此信息的信息量为类似地，信息2中的信息量为信息3中的信息量为可见，一个事务发生的概率越小，我们知道该事务已经发生时所收到的信息就越多。假如收到的信息是属性d有值1,则这个信息中关于3久的信息量为其中P(3di)是给定d的值为1时3的概率。对于集合S,P(3dl)=l,所以可知，属性d有值1对例子屈于3这一事务所供应的信息量为0.678比特。假如收到的信息是属性d布.值2,则这个信息中关于3的信息量为由此可见，知道属性d有值2与不知道d的值相比，对例子属于类的确信程度更降低了，故信息量是负值。因此，(12对于确认3类来讲，不是一个好的选择。(2)极大化信息增益归纳算法的任务是要找到一个属性-值对ax,使其对某分类n贡献最大的信息量，即极大化Knlax)O我们有由于P(n)对全部的都相同，所以只要求P(nax)最大即可。以n=l,即1为例，对全部的ax,P(nax)的值列于下表（八）,从表中可见，有2个最佳的候选对：c2和d24.例如选C2。则信息增益为现在对S中属性c为2的子集重复上述过程。从下表(b)可以看出，d2可使P(nax)取极大值。此时信息增益为现在对S中属性C为2、d为2的子集重复上述过程。从下表(C)可以看出布.两个侯选对al,bio例如选bl,则信息增益为前面已经计算过，信息1供应的信息量为K1)=2.585比特。我们又知道c2供应的信息为1比特。已知c2,时d2供应的信息为1比特。已知c2和d2时,bl供应的信息为0.585比特。所以,由信息源c2d2bl供应的信息为1+1+0.585=2.585比特。也就是说，信息c2d2bl与信息1供应同样的信息量。其它属性值对确认1再不会供应任何信息了，因此归纳出规则:c2d2bl1至此，归纳过程的决策树如下图所示。此算法趋于得到通向的最短路径。归纳过程的下步是对那些不是第一条规则的例的训练例集合求出最佳规则。方法是从S中删去全部包含c2d2bl的例，重任应用上述算法。上述过程要重复执行，直到S中没有类的例为止。整个过程要对每个分类轮番进行，每次都从完整的训练例集合S起先。对隐形眼镜问题的完整输出如下，(3)PRlSM的算法步骤基本的归纳算法可叙述如下：假如训练例集合包括多个类别，则对每个类别n,分别完成下列步躲:对每个属性值对ax,计算类别n的发生概率P(nlax).选择某个属性对ax,使P(nax)为最大，建立包括属性对ax的全部例的训练例子集。对训练例子集重熨步骤和，直到训练例子集仅包含n的例为止。以全部选出的属性值对的合取构成一条规则。从训练例集合中删去上述规则覆盖的训练例。重复步骤一，直到全部的n类的例都被删去为止。在上述归纳过程中，每归纳出一个类别的规则，就把训练例集合曳原到初始状态，算法再归纳下一类别的规则。由于每个类别是分开考虑的，所以表示的依次走无关的。