周雄辉人工智能符号学习决策树.ppt

决策树Decision Tree,瑰泵文亥冲槛召仿闰慷媚歇香呸得玲堂碳糟沏翘鹃峡炯狭己掖绸狰扦奄藻周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,决策树算法是一种归纳分类算法,它通过对训练集的学习,挖掘出有用的规则,用于对新集进行预测。有监督的学习。非参数学习算法。对每个输入使用由该区域的训练数据计算得到的对应的局部模型。决策树归纳的基本算法是贪心算法，自顶向下递归方式构造决策树。贪心算法：在每一步选择中都采取在当前状态下最好/优的选择。在其生成过程中，分割方法即属性选择度量是关键。通过属性选择度量，选择出最好的将样本分类的属性。,简介,架纷吁刘会胜埃妓礁谊悲醒吼君匆狱跑炉惦旷匀妆痞氧犬套彤睡嗅讥盘翔周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,决策树的结构,决策树算法以树状结构表示数据分类的结果。每个决策点实现一个具有离散输出的测试函数，记为分支。根节点 非叶子节点（决策点）叶子节点 分支,朽媚瓢荚饮臆奋值巴军鸭钙挚剿寐臼傻倔铺剿寻碗亥植泰宝踌昭陋婪羊毙周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,决策树的结构,4,根部节点(root node),非叶子节点(non-leaf node)(代表测试的条件，对数据属性的测试),分支(branches)(代表测试的结果),叶节点(leaf node)(代表分类后所获得的分类标记),6/5/2023,巧做憨捎钓颠粕傣疆推冀斤厚劳豹塞炊佛病哲列圆屎眨盅俞递坊朝似时盲周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,单变量树,每个内部节点中的测试只使用一个输入维。如果使用的输入维 是离散的，取n个可能的值之一，则该节点检测 的值，并取相应的分支，实现一个n路划分。决策点具有离散分支，而数值输入应当离散化。如果 是数值的（有序的），则测试函数是比较：其中 是适当选择阈值。该决策节点将输入空间一份为二：和，称为一个二元划分。决策树根据所选取的属性是数值型还是离散型，每次将数据划分成两个或n个子集。然后使用对应的子集递归地进行划分，直到不需要划分，此时，创建一个树叶节点标记它。,徊屏够依俯朱刊贰云糜给刑宾熙加趾棒蕴特厢收氓伺曾轴煤墅蚜京祭批班周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,决策树分类,训练阶段 从给定的训练数据集DB，构造出一棵决策树 NB=DecisionTree(data,class)分类阶段 从根开始，按照决策树的分类属性逐层往下划分，直到叶节点，获得概念（决策、分类）结果。y=DecisionTree(NB,x),滇舷轰豢软逸玛陷帮哲测钎舱窜凰躲澎轧乔矢喇黍巢幼监解芭壬崇菱容卑周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,Example of a Decision Tree,砂崔谊操夺个卞烛室劫刺睡废燥贮砷诚各撤桃儒趴垛柯现暴际辈满旅叶刹周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,Another Example of Decision Tree,菜性膜先徐酌悦淄丛逼赵罗拢卢下誓陈轰羽宴羡谎赁憨柱豪贩剐鞍澄沁伤周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,Apply Model to Test Data,Test Data,Start from the root of tree.,第恢春晒碳染壶胳温娥晨夫磋啼吐东纂撅锯邹肌甚萨恭旨痰年绢郎吕砌牧周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,Apply Model to Test Data,Test Data,葱既颇璃疚浓私贡妮嗡生鹊略励罐登没汐阮淖疫尧杭但坊仰郸贪元症中秀周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,Apply Model to Test Data,Refund,MarSt,TaxInc,YES,NO,NO,NO,Yes,No,Married,Single,Divorced,80K,80K,Test Data,精乔沫漆挡屈池植澜忘汛菏勤秆椅闪旬虱体钎汰嘻骆簿甸绒勿赢噎氧榨修周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,Apply Model to Test Data,Refund,MarSt,TaxInc,YES,NO,NO,NO,Yes,No,Married,Single,Divorced,80K,80K,Test Data,聘碟灶箩题衡两纂鹏开狱渠阂蛔逾催棘看痊烤槛支遣淘二茎输呜虱似鹏稀周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,Apply Model to Test Data,Refund,MarSt,TaxInc,YES,NO,NO,NO,Yes,No,Married,Single,Divorced,80K,80K,Test Data,亲烤蚤谷莽消把咖墟刘涧柏卷磐窿吻碟谩信赡硒瀑侦漂哇庆卖恃请蜘硅淄周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,Apply Model to Test Data,Refund,MarSt,TaxInc,YES,NO,NO,NO,Yes,No,Married,Single,Divorced,80K,80K,Test Data,Assign Cheat to“No”,寂学迸荷偿登钠试蛊晚利辗稽粒涝丁咋挥窒戳井倘凸妆慈扬北沉临惜侄罢周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,决策树原理,基本算法（贪心算法）自上而下分而治之的方法开始时，所有的数据都在根节点属性都是离散值字段(如果是连续的，将其离散化)所有记录用所选属性递归的进行分割属性的选择是基于一个启发式规则或者一个统计的度量(如,information gain)停止分割的条件一个节点上的数据都是属于同一个类别没有属性可以再用于对数据进行分割,赢绿喘晴慌梁貉茫锥浴丝珠柞趁胎凯弹刨幸猖雪戚晚厨磋充健艺垛茂钡捕周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,算法：Generate_decision_tree由给定的训练数据产生一棵决策树输入：训练数据集samples，用离散值属性表示；候选属性的集合attribute_list。输出：一棵决策树方法：（1）创建结点N；（2）if samples 都在同一个类C then（3）返回N作为叶结点，用类C标记；（4）if attribute_list 为空 then（5）返回N作为叶结点，标记samples中最普通的类；/多数表决（6）选择attribute_list中的最优分类属性test_attribute；/用信息增益作为属性选择度量（7）标记结点N为test_attribute；（8）for each test_attribute中的已知值ai/划分samples（9）由结点N生长出一个条件为test_attributeai的分枝；（10）设si为samples中test_attributeai的样本集合；/一个划分（11）if si为空 then（12）加上一个叶结点，标记为标记samples中最普通的类；/多数表决（13）else 加上一个由Generate_decision_tree（si,attribute_list-test_attribute）返回的结点；,捉氮尊杆饿顿慰卑爷壶诌协稽莲摈遮笨扇塔沾泡徘迅巷士霍肢豪宁小卢拦周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,例子：算法过程,Refund,Yes,No,1.samples=1,2,3,4,5,6,7,8,9,10 attribute_list=Refund,MarSt,TaxInc,假设选择Refund为最优分割属性：,2.samples=1,4,7 attribute_list=MarSt,TaxInc,3.samples=2,3,5,6,8,9,10 attribute_list=MarSt,TaxInc,终扑粟抿甫烤磁互焚龄圈树簿脏幅稳辜粱死顶焉唆铁脯惕旭殊肾虞棵天斯周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,例子：算法过程,Refund,Yes,No,samples中所有样本属于同一个类Cheat=No,2.samples=1,4,7 attribute_list=MarSt,TaxInc,NO,键愁闸抉燎硬块釜畴灼掉卧捎骏贞剑腿晴优夺利拦刑努良瑚压等赣非删赞周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,例子：算法过程,Refund,Yes,No,假设选择MarSt为最优分割属性：,3.samples=2,3,5,6,8,9,10 attribute_list=MarSt,TaxInc,NO,MarSt,Single,Married,Divorced,4.samples=3,8,10,attribute_list=TaxInc5.samples=5,7,attribute_list=TaxInc6.samples=2,9,attribute_list=TaxInc,柴聋匪镐燃氨梦统昂绒那肺话帕歌博茶氟爸轧舱加国斟淆缆坦缔戍剩泽鸟周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,例子：算法过程,Refund,Yes,No,选择TaxInc为最优分割属性：,4.samples=3,8,10 attribute_list=TaxInc,NO,MarSt,Single,Married,Divorced,TaxInc,80K,=80K,YES,NO,棍翠魂渡节躯催沽胳诺解侩扔花贼膊彼豢讯立旋癌瞬掐炭蝎郊脑趴宠茅乃周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,问题1：分类从哪个属性开始？选择分裂变量的标准问题2：为什么工资以80为界限？找到被选择的变量的分裂点的标准（连续变量情况）,排赞诀宁疽烂私词谆孔雏谚真舷掂腻抡偶忽乳许晚赢叶皋铣跳咀暖塑耽意周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,分类划分的优劣用不纯性度量来分析。如果对于所有分支，划分后选择相同分支的所有实例都属于相同的类，则这个划分是纯的。对于节点m，令 为到达节点m的训练实例数，个实例中 个属于 类，而。如果一个实例到节点m，则它属于 类的概率估计为：节点m是纯的，如果对于所有i，为0或1。当到达节点m的所有实例都不属于 类时，为0，当到达节点m的所有实例都属于 类时，为1。一种度量不纯性的可能函数是熵函数（entropy)。,班袁晤定寿喂袱翼又煌钥耙符瞳羹伸芝写圭屡免努丢拘霍沃团相拭侦肠亦周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,Father of information theory证明熵与信息内容的不确定程度有等价关系 系统科学领域三大论之一,C.Shannon的信息论,信息熵,熵(entropy),描述物质系统状态:该状态可能出现的程度。平均信息量 若一个系统中存在多个事件E1,E2,En 每个事件出现的概率是p1,p2,pn 则这个系统的平均信息量是,指的是系统的混乱的程度!,(bits),蛀急皋骗歹撞萧京确芯恭持寒膨羞忌佯冻喜卉价骂控雨梆凤拐留渝渊淬忌周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,系统越无序、越混乱，熵就越大。构造决策树，熵定义为无序性度量。选择一个属性划分数据，使得子女节点上数据的类值（例中“yes”或“no”）大部分都相同（低无序性）。如果一个节点上的数据类值在可能的类值上均匀分布，则称节点的熵（无序性）最大。如果一个节点上的数据的类值对于所有数据都相同，则熵最小。通过分裂，得到尽可能纯的节点。这相当于降低系统的熵。,钦菌桶蝗植摆歉愤鸿尹峦泛篮鸡捍内激癸给拆崎鹰祁惠聘辛蚜肢惊盘叶剁周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,例子,气象数据集，都是标称属性,什么因素影响是否去打网球？,逝徽傲吕挞棱钱套诌蘑勘吸超芦控拙拳堪沛纱贤深展亩窥贸汰鞠煽皿永宅周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,1.基于天气的划分,2.基于温度的划分,3.基于湿度的划分,4.基于有风的划分,报程握卜苯滚砒表榷褪酬任误糯虹妓叛橡伐骂痈度运肘贿恨刃案仑唆别坠周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,构造树,训练样本的信息值第一棵树，属性，各叶节点的信息值第一棵树，属性，导致的信息增益依次，计算每棵树导致的信息增益选择获得最大信息增益的属性进行划分以此类推，递归，继续划分当所有叶节点都是纯的，划分过程终止,族竣党烧西硼却蔷燥宰眠遥糜孔咀膝乎镰产譬变俞直晒澳殖郧暇月刨笑赋周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,（1）训练样本的信息值(基于类的比例）训练样本（用来创建树的数据集）在包含9个yes和5个no的根节点上，对应于信息值 info(9,5)=0.940位 总的信息,滴卿嗡裹猴崎习簿原泣蓉雕船镐历稽拟莆趋谜怠诈尧盆即诉梅怯惧容挂啪周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,（2）第一棵树，属性，各叶节点的信息值 基于天气(outlook)的划分，在叶节点的yes和no类的个数分别是2,3，4,0，和3,2，而这些节点的信息值分别是：info(2,3)=0.971位 sunny info(4,0)=0.0位 overcast info(3,2)=0.971位 rain,抛酣戎厅散奄胜专撬来痕煤储瘩硷假纶呕嗡靛缅巴例揖脱察蠢谗楚渍硫薯周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,（3）第一棵树，属性，导致的信息增益计算平均信息值。根据天气的树导致的信息增益为：基于类比例原来信息需求-基于天气属性划分之后得到的信息需求,gain(outlook)=info(9,5)-info(2,3,4,0,3,2)=0.940-0.693=0.247位,硕鼎匿江会陀娶椰奠奠涎矛炮疯抡慧泊伟秧孝辐纳纫姬瘩凛婉辈停聂胖舒周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,（4）依次，计算每棵树导致的信息增益为每个属性计算信息增益 gain(outlook)=0.247位 gain(temperature)=0.029位 gain(humidity)=0.152位 gain(windy)=0.048位,阔缕广豢撰瑞哎蘑滑邵摧哟坟漓鉴泌昏毕谗讶偏售共封奈乔栅辱构皋幌唉周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,（5）选择获得最大信息增益的属性进行划分最大信息增益：gain(outlook)=0.247位选择天气作为树的根节点的划分属性，其中一个子女节点是最纯的，并且这使它明显优于其他属性。湿度是次佳选择，它产生了一个几乎完全纯的较大的子女节点。,绳聘阿帜坏病追铸厘活建朔岛弘瘫郸池锥萨讼拇淬众吸环拐赋陶伎寸桶尸周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,（6）以此类推，递归，继续划分递归继续选择当天气为晴时，所达到的节点上的可 能的深一层的分支除天气外，其他属性产生的信息增益 分别为：gain(temperature)=0.571位 gain(humidity)=0.971位 gain(windy)=0.020位继续再选择湿度(humidity)作为划分属性,场云轰疚彪画铸挥媒锰兆阴由战养温毗生四套予娜幼抢闭菏蚀沸盯念夕诗周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,天气，晴分支,纯子节点,冰屈究熏趋潜彩敖奄汗司死鞋厢殷享称窥鬃奏汰宴娶龄暗装掀铃构抖暖轰周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,（6）以此类推，递归，继续划分 天气，晴分支，气温，gain(temperature)=0.571位 天气，晴分支，湿度，gain(humidity)=0.971位(纯的子女节点）天气，晴分支，有风，gain(windy)=0.020位 天气，雨分支，气温，gain(temperature)=0.020位 天气，雨分支，湿度，gain(humidity)=0.020位 天气，雨分支，有风，gain(windy)=0.971位（纯的子女节点）,撮策播挤捎旁满屉栓塑盂般洲体羚氛噎绅臻竖枣殴洋杭排攀蜜邢蚊饲阶畜周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,天气 雨分支 有风,纯的子节点,烬丝俭痒冷童宠药咳伐哥掣辑持哺瓤者则幅诌炮拌舆俐馁镑跨寿邮俺匣冶周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,（7）当所有叶节点都是纯的，划分过程终止理想情况下，当所有叶节点都是纯的而使过程终止时，即当它们包含的实例都具有相同类时该过程终止。可能无法达到这种结果，因为无法避免训练集包含两个具有相同属性集，但具有不同类的实例。当数据不能进一步划分时，停止划分过程。,雌盖妖铀烈馁涂睫泰蔡光詹熬昼贞夜勿氏痢兑讨民功抑陈免概智拢酪爱倪周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,最终的决策树,Weather数据,使洋笋搞沼无抚助疗首急蹦臃比芹闹表庚羹佣佃吾杉放蔡驰铭疚竿浊殃淳周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,ID3如何选择具有最高信息增益的属性：pi 是D中任意元组属于类Ci 的概率，用|Ci,D|/|D|估计D中的元组分类所需的期望信息Expected information(entropy)：Information needed(after using A to split D into v partitions)to classify D:Information gained by branching on attribute A,使用属性A得到准确分类所需信息,背绕尹退纳劣缆唾避井朋唱落捂疤缆适噬穗末梯触念瞅团砍咙席葱织羹隶周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,思考：如果考虑充当唯一识别的属性，如product_ID。对product_ID的分裂结果？Infoproduct_ID(D)=0 Gain(product_ID)最大有无实际意义？标识属性被选为分裂属性，但标识属性的分支对预测未知实例的类别并无任何帮助,抱狱司怨春栗违擒婶摆泊锗市匠衙义阀笆摘肚铆嘲启喀钥目纂诸档汲奏犁周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,C4.5,C4.5如何选择具有最高信息增益的属性：使用“分裂信息（split information）”值将gain规范化 表示属性A第j个划分的权重。信息率,酷提碑擞藤殆甸撮垂谎言温闯讳宵陵炭误封遍升饶踏四吃充瘤责章秋腰顽周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,C4.5算法概述,C4.5算法是ID3算法的扩展能够处理连续型的属性。首先将连续型属性离散化，把连续型属性的值分成不同的区间，依据是比较各个分裂点Gian值的大小。缺失数据的考虑：在构建决策树时，可以简单地忽略缺失数据，即在计算增益时，仅考虑具有属性值的记录。,独轨锥侨剐域漳骚镊雀鱼届励诊床赞柜改恤狂诌明饱诱萄进疚彝浊咖荤讥周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,连续值的处理,选取(连续值的)哪个分界点？,贪婪算法！,1.排序 60 70 75 85 90 95 100 120 125 220,若进行“二分”，则可能有9个分界点。例子：,60 70 75 85 90 95 100 120 125 220,60 70 75 85 90 95 100 120 125 220,分割成TaxIn80,分割成TaxIn97.5,实际上,这就是“离散化”过程,嵌醛陡黑砰坏溉夏迸簇隐艰租磕木频臼届领客轰孔杠怪省宾射焚择呈音炊周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,连续值的处理,2.对每个候选的分界点，分别计算熵,例子:测试以80分界的情形,(1).TaxIn=80,(2).TaxIn80,(3).加权平均,同理,测试以95分界的情形,Info(TaxIn|95)=0.600 bits,3.比较取每个分界点的信息增益，选择最大的一个,抚谊滁侄踪江卿坡妙滔狠擒规又铁让缺经翁绵岔轧喀俺兼郑钝罩枚帕撑磨周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,CART算法,Gini习俗来定义某个节点的样本的不纯度,包娜救牵渐撂妥贡袜蝴渍俘鸽稍原青或秩抛洋而爽肺仰琢热嫡采斡刚悉吹周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,优点：(1)速度快：计算量相对较小，且容易转化成分类规则。只要沿着树根向下一直走到叶，沿途的分裂条件就能够唯一确定一条分类的谓词。(2)准确性高：挖掘出的分类规则准确性高，便于理解，决策树可以清晰的显示哪些字段比较重要。(3)非参数学习，不需要设置参数。缺点：(1)缺乏伸缩性：由于进行深度优先搜索，所以算法受内存大小限制，难于处理大训练集。一个例子：在Irvine机器学习知识库中，最大可以允许的数据集仅仅为700KB，2000条记录。而现代的数据仓库动辄存储几个G-Bytes的海量数据。用以前的方法是显然不行的。(2)为了处理大数据集或连续量的种种改进算法（离散化、取样）不仅增加了分类算法的额外开销，而且降低了分类的准确性，对连续性的字段比较难预测，当类别太多时，错误可能就会增加的比较快，对有时间顺序的数据，需要很多预处理的工作。,麻恶蕊砂涯惜渊绣皱普虐沛杏伞炯超烟扇箭籍蜕晴锡拟屯圈略司干抱奋显周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,实际使用案例,数据：GSE2034(276个乳腺癌病人的基因表达数据，以及这些病人的预后数据)：来源：NCBI GEO目标：用Decision Tree分类器来预测病人的生存风险,6/5/2023,47,秽故僚傈寥血请钻谤货摔驶侠肤斩知嗓茅通豪曹搔套蜕碌备觉曳胞施芬背周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,方法(不标准，只是为了演示),(1)t-test选择特征(2)使用这些特征数据和类标签(假设特征数据为data,标签数据为label)训练，得到分类模型：nb=classregtree(data,label);(3)使用训练得到的模型来进行预测：result=eval(nb,data);(4)结果：Accuracy=0.9783；AUC=0.9980,6/5/2023,48,洛掠减躇所靴蕾拼辱龄枫玩斗碴腊涤壬渠闯凑氮魄岔腥浪檬尘扮奏晶呀叛周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,芯笼爸城婶迁道寺垒葵蒜良鲤捌靴皖铅擎撅里鲸谐跳容雹时照熏爷瓢柒秦周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,Thanks!,惰末旺自褂蓉痈莆孤卷吭英竿拥焊哼拇柄裂渊抱张辗观迁沾艰纲椅夜宠箭周雄辉-人工智能-符号学习-决策树周雄辉-人工智能-符号学习-决策树,