《人工智能》第七章不精确知识推理ppt课件.ppt

《《人工智能》第七章不精确知识推理ppt课件.ppt》由会员分享，可在线阅读，更多相关《《人工智能》第七章不精确知识推理ppt课件.ppt（113页珍藏版）》请在三一办公上搜索。

1、,主讲：夏幼明,人工智能示范课程,2,在现实世界中，存在着大量的不确定性信息，如随机的、模糊的及未确知的等。因此，不精确推理是专家系统研制过程中的一个十分重要的问题。人工智能学者提出了许多新的不精确推理模型，比较有代表性的是：确定性理论、主观Bayes方法、Dempster/Shafer证据理论及可能性理论等。每种不精确推理方法都有它的特点和适用领域。,“不精确知识推理”基本概念,3,不精确性推理方法研究产生的原因大致如下：很多原因导致同一结果推理所需的信息不完备背景知识不足信息描述模糊信息中含有噪声划分是模糊的推理能力不足解题方案不唯一,“不精确知识推理”基本概念,4,不确定性推理的研究和发

2、展Shortliffe等人1975年结合MYCIN系统的建立提出了确定性理论。DURA等人1976年在PROSPECTOR的基础上给出了概率法。Dempster Shafter 1976年提出证据理论。Zadeh两年后提出了可能性理论，1983年提出了模糊逻辑。,“不精确知识推理”基本概念,5,确定性理论MYCIN系统是第一个采用了不确定推理逻辑的专家系统，在20世纪70年代非常有名。这个系统提出该确定性方法时遵循了下面的原则：（1）不采用严格的统计理论。使用的是一种接近统计理论的近似方法。（2）用专家的经验估计代替统计数据。（3）尽量减少需要专家提供的经验数据，尽量使少量数据包含多种信息。（

3、4）新方法应适用于证据为增量式地增加的情况。（5）专家数据的轻微扰动不影响最终的推理结论。,“不精确知识推理”基本概念,6,确定性理论MYCIN系统是第一个采用了不确定推理逻辑的专家系统，在20世纪70年代非常有名。,“不精确知识推理”基本概念,7,确定性理论MYCIN推理策略采用反向推理和深度优先搜索。诊断治疗过程如下：(1)确定患者有无细菌性感染。(2)确定可能引起感染的有机体。(3)确定对其有抑制作用的药物。(4)选择对治疗最合适的药物。这四个步骤由目标规则 来执行。,“不精确知识推理”基本概念,8,不确定性推理概率推理可信度方法证据理论主观bayes方法贝叶斯网的不确定性知识推理,“不

4、精确知识推理”核心内容,9,不确定性推理概述不确定性的表示与度量不确定性知识推理算法,“不确定性推理”核心内容,10,不确定性推理概述不确定性推理是建立在非经典逻辑基础上的一种推理，是基于不确定性知识的推理。不确定性推理从不确定性的初始证据出发，通过运用不确定性知识，推出具有一定程度的不确定性的和合理的或近乎合理的结论。在不确定性推理中，知识和证据都具有不确定性，这为推理机的设计与实现增加了复杂度和难度。除了必须解决推理方向、推理方法和控制策略等基本问题外，一般还需要解决不确定性的表示与度量、不确定性匹配、不确定性的传递算法以及不确定性的合成等问题。,“不确定性推理”核心内容,11,不确定性推

5、理概述不确定性(uncertainty)就是一个命题(亦即所表示的事件)的真实性不能完全肯定,而只能对其为真的可能性给出某种估计。如果乌云密布并且电闪雷鸣,则很可能要下暴雨。如果头痛发烧,则大概是患了感冒。这是两个含有不确定性的命题。当然,它们描述的是人们的经验性知识。,“不确定性推理”核心内容,12,不确定性推理概述不确定性(imprecision)就是一个命题中所出现的某些言词其涵义不够确切,从概念角度讲,也就是其代表的概念的内涵没有硬性的标准或条件,其外延没有硬性的边界,即边界是软的或者说是不明确的。小王是个高个子。张三和李四是好朋友。如果向左转,则身体就会向左稍倾。这几个命题中就含有不

6、确定性,因为其中的言词“高”、“好朋友”、“稍倾”等的涵义都是不确切的。,“不确定性推理”核心内容,13,不确定性推理概述不完全性就是对某事物来说,关于它的信息或知识还不全面、不完整、不充分。在破案的过程中，警方所掌握的关于罪犯的有关信息，往往就是不完全的。但就是在这种情况下，办案人员仍能通过分析、推理等手段而最终破案。,“不确定性推理”核心内容,14,不确定性推理概述不一致性就是在推理过程中发生了前后不相容的结论；或者随着时间的推移或者范围的扩大，原来一些成立的命题变得不成立、不适合了。牛顿定律对于宏观世界是正确的，但对于微观世界和宇宙观世界却是不适合的。,“不确定性推理”核心内容,15,不

7、确定性推理概述对于不确定性知识，其表示的关键是如何描述不确定性。一般的做法是把不确定性用量化的方法加以描述，而其余部分的表示模式与前面介绍的知识基本相同。对于不同的不确定性，人们提出了不同的描述方法和推理方法。下面我们主要介绍(狭义)不确定性和不确切性知识的表示与推理方法，对于不完全性和不一致性知识的表示，简介几种非标准逻辑。,“不确定性推理”核心内容,16,不确定性推理概述随机性以牛顿理论为代表的确定性科学，创造了给世界以精确描绘的方法，将整个宇宙看作是钟表式的动力学系统，处于确定、和谐、有序的运动之中。客观世界上随机的，映射到人脑的客观世界，即主观世界也应该是随机的。因此，人类在认知过程中

8、表现出的智能和知识，不可避免地伴随有随机性。随机性无处不在，随机性使得世界更为复杂，也更为丰富多彩。,“不确定性推理”核心内容,17,不确定性推理概述模糊性直到20世纪，人们才认识到，模糊性并不是坏事。它能够用较少的代价，传递足够的信息，并能对复杂事物做出高效率的判断和处理。哲学家罗素早在1923年一篇题为Vagueness的论文中明确指出：“认为模糊知识必定是靠不住的，这种看法是大错特错的”。随着科学技术的发展，科学家们已经认识到：硬要把模糊事物人为地精确化，不仅会以方法的复杂性为代价，而且会降低结果的意义性。,“不确定性推理”核心内容,18,不确定性的表示与度量不确定性的表示知识不确定性考

9、虑因素：问题描述能力、便于推算 含义：知识的不确定程度，或表态强度 表示：用概率 0，1，越接近0越假，越接近1越真 用可信度-1,1，大于0接近于真，小于0接近于假,“不确定性推理”核心内容,可信度是指人们根据以往经验对某个事物或现象为真的程度的一个判断，或者说是人们对某个事物或现象为真的相信程度。,可信度具有一定的主观性，较难把握。但对某一特定领域，让该领域专家给出可信度还是可行的。,19,不确定性的表示与度量不确定性的表示表示形式：在C-F模型中，知识是用产生式规则表示的，其一般形式为：IF E THEN H(CF(H,E)其中，E是知识的前提条件；H是知识的结论；CF(H,E)是知识的

10、可信度。例子：IF 发烧 AND 流鼻涕 THEN 感冒(0.8)说明：当某人确实有“发烧”及“流鼻涕”症状时，则有80%的把握是患了感冒。,“不确定性推理”核心内容,20,不确定性的表示与度量不确定性的表示证据不确定性证据来源：初始证据、中间结论 含义：证据的不确定程度，或动态强度 表示：与知识相同结论不确定性结论来源：知识、证据不确定性 含义：结论的不确定程度，或规则的不确定性 表示：当规则的条件被完全满足时，产生的结论的不确定程度。,“不确定性推理”核心内容,21,不确定性的表示与度量不确定性的度量确定度量方法的要点：（1）量度要能充分表达相应知识和证据不确定性的程度。（2）量度范围的指

11、定应便于领域专家和用户对不确定性的估计。（3）量度要便于对不确定性的传递进行计算，而且对结论算出的不确定性量度不能超出量度规定的范围。（4）量度的确定应当是直观的，并有相应的理论依据。,“不确定性推理”核心内容,22,不确定性的知识推理算法不确定性的匹配算法推理是一个不断运用知识的过程。在这一过程中，为了找到所需的知识，需要用知识的前提条件与已知证据进行匹配，只有匹配成功的知识才有可能被应用。在确定性推理中，知识是否匹配成功是很容易确定的。但在不精确推理中，由于知识和证据都具有不确定性，而且知识所要求的不确定性程度与证据实际具有的不确定性程度不一定相同，因而就出现了“怎样才算匹配成功”的问题。

12、,“不确定性推理”核心内容,23,不确定性的知识推理算法不确定性的匹配算法对怎样才算匹配成功，常用的解决方法：设计一个算法用来计算匹配双方相似的程度，另外再指定一个相似的限度，用来衡量匹配双方相似的程度是否落在指定的限度内。如果落在指定的限度内，就称它们是可匹配的，相应的知识可被应用，否则就称它们是不可匹配的，相应的知识不可应用。用来计算匹配双方相似程度的算法称为不确定性匹配算法，用来指出相似的限度称为阈值。,“不确定性推理”核心内容,24,不确定性的知识推理算法不确定性的更新算法不精确推理的根本目的是根据用户提供的初始证据，通过运用不确定性知识，最终推出不确定性的结论，并推算出结论为确定性的

13、程度。不精确推理除了要解决前面提出的问题之外，还需要解决不确定性的更新问题在推理过程中如何考虑知识不确定性的动态积累和传递。,“不确定性推理”核心内容,25,不确定性的知识推理算法不确定性的更新算法已知规则R前提E的不确定性C(E)和规则的强度f(H,E)，如何求假设H的不确定性C(H)即定义算法g1，使 C(H)=g1C(E)，f(H,E)并行规则算法根据独立的证据E1和E2，分别求得假设H的不确定性为C1(H)和C2(H)。求出证据E1和E2的组合导致结论H的不确定性C(H)。即定义算法g2，使 C(H)=g2C1(H)，C2(H),“不确定性推理”核心内容,26,不确定性的知识推理算法不

14、确定性的更新算法证据合取的不确定性算法根据两个证据E1和E2的不确定性值C(E1)和C(E2)，求出证据E1和E2合取的不确定性定义算法g3，使 C(E1 AND E2)=g3C(E1)，C(E2)证据析取的不确定性算法根据两个证据E1和E2的不确定性值C(E1)和C(E2)，求出证据E1和E2析取的不确定性定义算法g4，使 C(E1 OR E2)=g4C(E1)，C(E2),“不确定性推理”核心内容,27,不确定性的知识推理算法不确定性的更新算法组合证据不确定计算方法有如下几种：a、最大最小法：C(E1 AND E2)=min C(E1)，C(E2)C(E1 OR E2)=max C(E1)

15、，C(E2)b、概率方法 C(E1 AND E2)=C(E1)C(E2)C(E1 OR E2)=C(E1)+C(E2)-C(E1)C(E2)c、有界方法 C(E1 AND E2)=max0,C(E1)+C(E2)-1 C(E1 OR E2)=min1,C(E1)+C(E2),“不确定性推理”核心内容,28,概率论基础概率推理方法,“概率推理”核心内容,29,事件：在一定条件下，可能发生也可能不发生的试验结果。事件有两种特殊情况：不可能事件与必然事件。事件的概率：事件发生的可能性大小。条件概率：在事件B已发生的条件下，事件A发生的概率，称为事件A在事件B已发生的条件下的条件概率，记为P（A|B）

16、。,概率论基础,30,概率的性质,概率论基础,31,概率的性质,概率论基础,32,概率的计算公式,概率论基础,33,概率的计算公式,概率论基础,34,设有如下产生式规则：IF E THEN H则证据E的不确定性为E的概率P(E)，基于概率法不精确推理的目的就是求出在证据E下，结论H发生的概率P(H|E)。Bayes方法用于不精确推理的一个原始条件是：已知前提E的概率P(E)和H的先验概率P(H)，并已知H成立时E出现的条件概率P(E|H)，可由下面的Bayes公式求H的后验概率,概率推理方法,35,如果一个证据E支持多个假设H1,H2,Hn，即,概率推理方法,则可得如下贝叶斯公式：,如果有多个

17、证据E1,E2,Em和多个结论H1,H2,Hn，并且每个证据都以一定的程度支持结论，则,36,例 设已知：P(H1)=0.4，P(H2)=0.3，P(H3)=0.3P(E1|H1)=0.5,P(E1|H2)=0.6,P(E1|H3)=0.3P(E2|H1)=0.7,P(E2|H2)=0.9，P(E2|H3)=0.1 求:P(H1|E1 E2)、P(H2|E1 E2)及P(H3|E1 E2)的值。解：由公式（*）可得,概率推理方法,37,概率推理方法,概率方法的优点是它有较强的理论基础和较好的数学描述，当证据及结论都彼此独立时，计算的复杂度比较低。,概率方法的缺点是它要求给出结论Hi的先验概率P

18、(Hi)及证据Ej的条件概率P(Ej|Hi)，要获得这些数据是相当困难的。,Bayes公式的应用条件很严格，它要求各事件互相独立，若证据之间存在依赖关系，就不能直接使用这个方法了。,38,“可信度推理方法”的核心内容,可信度定义与性质证据不确定下CF的计算可信度推理实例,39,可信度定义与性质,可信度方法的原则(1)用接近统计理论的近似方法；(2)用专家经验估计代替统计数据；(3)尽量减少经验估计；(4)适用于证据增量式增加的情况；(5)数据的轻微扰动不影响最终的推理结论。,40,可信度定义与性质,可信度的定义规则的形式为：EH(CF(H,E)其中，CF(H,E)是规则的可信度，或者称可信因子

19、或规则强度。可信度的取值范围在-1和1之间，其语义表示在已知证据E的情况下对结论H为真的支持程度。CF(H,E)0，表示证据的存在增加结论为真的程度，CF(H,E)的值越大结论H越真；CF(H,E)=1表示证据存在结论为真。CF(H,E)0，表示证据的存在增加结论为假的程度，CF(H,E)的值越小结论H越假；CF(H,E)=-1表示证据存在结论为假。CF(H,E)=0表示证据与结论没有关系。,41,可信度定义与性质,可信度方法的特点设E为证据，H为假设，则概率论公式为P(H|E)+P(H|E)=1CF(Certainty Factor)表示确认理论下的定量可信度，则有公式CF(H|E)+CF(

20、H|E)=0含义：E肯定了H(=1)就同时否定了H(=-1)。,42,可信度定义与性质,可信度方法的性质用两个量来表示在给定证据下，对某个假设的肯定MB(measure belief)和否定MD(disbelief)的程度。含义：MB(H|E)=a，证据E的出现使假设H的可信度增加了数量a。MD(H|E)=b，证据E的出现使假设H的不可信度增加了数量b。显然，a与b不能同时大于0。定义：CF(H|E)=MB(H|E)-MD(H|E),43,可信度定义与性质,可信度方法的性质MB和MD的解释：其值应该由专家给出，但为了提供某种理论依据，给出其概率解释，一般不直接用于构造知识库。,44,可信度定义

21、与性质,可信度方法的性质MB和MD的性质(1)由定义，当p(H)=1时MB(H|E)=p(H|E)=1 MD(H|E)=p(H|E)=0(2)由定义，当p(H)=1时MB(H|E)=p(H|E)=0 MD(H|E)=p(H|E)=1(3)恒有：0MB(H|E)，MD(H|E)1(4)互斥性：当MB(H|E)0时MD(H|E)=0 当MD(H|E)0时MB(H|E)=0 即恒有MB(H|E)*MD(H|E)=0(5)若MB(H|E)=1时则对任何E有MD(H|E)=0；反之，若MD(H|E)=1时则对任何E有MB(H|E)=0,45,可信度定义与性质,可信度方法的性质MB和MD的性质复合证据的处

22、理(1)MB(H|E1&E2)=MB(H|E1)+MB(H|E2)-MB(H|E1)*MB(H|E2)MD(H|E1&E2)=MD(H|E1)+MD(H|E2)-MD(H|E1)*MD(H|E2)多于2个证据的，可以进一步组合(E1&E2)&E3.(2)MB(H|E1&E2)=MB(H|E1)；MD(H|E1&E2)=MD(H|E1)其中E2为未知真假的证据,46,可信度定义与性质,可信度方法的性质MB和MD的性质可信度因子CF(H|E)=MB(H|E)-MD(H|E)根据MB/MD的互斥性知，CF只取MB或MD之一值CF性质：(1)-1CF(H|E)1(2)CF(H|E)+CF(H|E)=0

23、(3)令E+=E1&En 为所有支持H的证据总和(即MB(H|Ei)0)/E-=E1&Em 为所有不支持H的证据总和(即MD(H|Ej)0)CF(H|E+&E-)=MB(H|E+)-MD(H|E-),47,可信度定义与性质,可信度方法的性质当多个证据导出同一假设时，先求出各自MB/MD，然后利用复合证据处理公式得出总的MB/MD，再得到CF。(4)若H1Hk是k个互相独立的假设，E为对其有利的证据，则,48,证据不确定下的CF计算,证据E本身不确定，其可信度用CF(E)或CF(E|S)表示，S是证据E的观察/有性质如下：(1)当证据E以某种程度为真时，0CF(E)1；当证据E以某种程度为假时，

24、-1CF(E)0(2)证据E肯定真时CF(E)=1；证据E肯定假时CF(E)=-1；对证据E一无所知时CF(E)=0。CF对复合证据的处理：同MB/MD的定义(1)CF(H|E1&E2)=CF(H|E1)+CF(H|E2)CF(H|E1)*CF(H|E2)(2)CF(H|E1&E2)=CF(H|E1)其中E2为未知真假的证据。,49,证据不确定下的CF计算,证据的合取与析取(1)E=E1 and and En CF(E1and and En)=minCF(E1),CF(En)(2)E=E1 or or En CF(E1 or or En)=maxCF(E1),CF(En),50,证据不确定下的

25、CF计算,由证据与规则的可信度求假设的可信度CF(H|S)=CF(H,E)max0,CF(E)(CF(E)0时则不能应用)MB(H|S)=MB(H,E)max0,CF(E)MD(H|S)=MD(H,E)max0,CF(E),51,可信度推理实例,设有推理网络如下图所示，其推理规则为(1)ABH,0.7(2)CH,0.5(3)(DE)F(GI)H,0.9(4)JH,0.3每个证据的可信度标在叶子节点的下面，节点分叉带弧者为与节点,52,可信度推理实例,求解步骤：当可信度小于给定的阈值0.2时，不再进行计算(1)CF(H|AB)=0.7*min0.2,0.5=0.14 按照阈值规定可不考虑其对假设

26、H推理的贡献，即下一步不参与计算(2)CF(H|C)=0.5*0.4=0.2(3)CF(H|(DE)F(GI)=0.9*minmax0.4,0.2,0.6,max0.8,0.1=0.9*0.4=0.36(4)CF(H|J)=0.3*(-0.8)=-0.24,53,可信度推理实例,求解步骤：当可信度小于给定的阈值0.2时，不再进行计算(5)由定义可知MB1=0.2MB2=0.36MB3=0MD1=0MD2=0MD3=0.24MB=0.2+0.360.2*0.36=0.488MD=0.24故CF=MB MD=0.488 0.24=0.248,54,可信度推理实例,求解步骤：当可信度小于给定的阈值0

27、.2时，不再进行计算如果将CF=0.14计算在内，则MB=0.14+0.2+0.36 0.14*0.2 0.14*0.36 0.2*0.36+0.14*0.2*0.36=0.55968MD=0.24CF=0.55968 0.24=0.31968注意：计算的步骤是分别求每个证据的CF或MB/MD，然后用复合证据公式计算MB/MD，最后得CF=MBMD,55,证据理论,证据理论是由Dempster于1967年首先提出，由他的学生shafer于1976年进一步发展起来的一种不精确推理理论，也称为Dempster/Shafer 证据理论(D-S证据理论)，属于人工智能范畴，最早应用于专家系统中，具有处

28、理不确定信息的能力。作为一种不确定推理方法，证据理论的主要特点是：满足比贝叶斯概率论更弱的条件；具有直接表达“不确定”和“不知道”的能力。,56,证据理论,在DS证据理论中，由互不相容的基本命题（假定）组成的完备集合称为识别框架，表示对某一问题的所有可能答案，但其中只有一个答案是正确的。该框架的子集称为命题。分配给各命题的信任程度称为基本概率分配（BPA，也称m函数），m(A)为基本可信数，反映着对A的信度大小。,57,证据理论,信任函数Belgium（A）表示对命题A的信任程度，似然函数Pl(A)表示对命题A非假的信任程度，也即对A似乎可能成立的不确定性度量。实际上，Bel(A),Pl(A)

29、表示A的不确定区间；0,Bel(A)表示命题A支持证据区间；0,Pl(A)表示命题A的拟信区间；Pl(A),1表示命题A的拒绝证据区间。设m1和m2是由两个独立的证据源（传感器）导出的基本概率分配函数，则Dempster联合规则可以计算这两个证据共同作用产生的反映融合信息的新的基本概率分配函数。,58,证据理论,证据理论的形式化描述信任函数与似然函数的关系概率分配函数的正交和 设M1 和M2是两个概率分配函数，则其正交和M=M1M2 为,式中：,59,证据理论,证据理论的形式化描述设M1,M2,Mn是n个概率分配函数，则其正交和 M=M1 M2 Mn 为,其中,60,证据理论,证据理论的不确定

30、性推理模型概率分配函数与类概率函数 设D=s1,s2,sn，M为定义在 上的概率分配函数，且满足,其中，|A|表示命题A对应于集合中元素的个数。,61,证据理论,证据理论的不确定性推理模型对任何命题，其信任函数与似然函数分别为,于是可得，对任意,62,证据理论,证据理论的不确定性推理模型设M1和M2是上的基本概率分配函数，其正交和为,其中，|A|和|D|分别是A和D中元素的个数。,命题A的类概率函数为,其中，,63,证据理论,证据理论的不确定性推理模型类概率函数 的性质：,根据上述性质可得如下性质：,64,证据理论,证据理论的不确定性推理模型不确定性知识用如下产生式规则表示：,其中，E为条件，

31、H是结论，它用样本空间中的子集表示，是该子集中的元素。CF是可信度因子，用集合形式表示，其中 用来指出 的可信度，与 一一对应。满足如下条件：,65,证据理论,证据理论的不确定性推理模型证据不确定性的表示,不确定性证据E的确定性用CER(E)表示。对于初始证据，其确定性由用户给出；对于用前面推理所得结论作为当前推理的证据，其确定性由推理得到。CER(E)的范围为0，1，即,66,证据理论,证据理论的不确定性推理模型组合证据不确定性的表示 规则的条件可以为组合证据，当组合证据是多个证据的合取时，即,则,当组合证据是多个证据的析取时，即,则,67,证据理论,证据理论的不确定性推理模型不确定性的传递

32、算法 设有知识 则结论H的确定性可由下列步骤求出：（1）求H的概率分配函数（2）求出（3）求H的确定性CER（H）,其中，MD(H|E)定义为,68,证据理论,证据理论推理示例 设有如下知识规则,已知用户对初始证据给出的确定性是：,求：CER（H）的值,69,证据理论,证据理论推理示例 解：由给出的知识可形成如图所示的推理网络,70,证据理论,证据理论推理示例 解：由给出的知识可形成如图所示的推理网络,71,证据理论,证据理论推理示例 解：由给出的知识可形成如图所示的推理网络,72,证据理论,证据理论推理示例 解：由给出的知识可形成如图所示的推理网络,求正交和值,由于R4与R5 相同的结论H，

33、因而需要先对R4和R5 分别求出概率分配函数，然后通过它们的正交和得到的概率分配函数。对于R4，其概率分配函数为,73,证据理论,证据理论推理示例 解：由给出的知识可形成如图所示的推理网络,求正交和值,对于R5，其概率分配函数为,现在可求M1与M2的正交和M。,代入数据得：,74,证据理论,证据理论推理示例 解：由给出的知识可形成如图所示的推理网络,求正交和值,代入数据得,同理可得,75,证据理论,证据理论推理示例 解：由给出的知识可形成如图所示的推理网络,求CER（H）值,所以有，,76,主观bayes方法知识不确定性的表示,设事件A1，A2，A3，An中任意两个事件都不相交，则对任何事件B

34、有下式成立：该定理就叫Bayes定理，上式称为Bayes公式。,77,主观bayes方法知识不确定性的表示,在主观贝叶斯方法中，用下列产生式规则表示知识：式中，（LS,LN）表示该知识的静态强度，LS称为充分性因子，衡量证据E对结论H的支持程度；LN称为必要性因子，衡量E对H的支持程度。其定义为：,公式中，LS和LN的数值由领域专家决定。,78,主观bayes方法知识不确定性的表示,几率函数为 即X的几率等于X的概率与X不出现的概率之比。由上两式可得：,79,主观bayes方法知识不确定性的表示,将几率概率代入上式得 即：以上式可以看出：LS越大，O(H|E)就越大，且P(H|E)也越大，这说

35、明E对H的支持越强。当LS趋于无穷时，P(H|E)趋于1，这说明E的存在导致H为真。同理有：LN反映了H的出现对H的支持程度。,80,主观bayes方法知识不确定性的表示,证据的不确定性也用概率P表示，主观Bayes方法的不确定性推理过程，就是根据证据E的概率P(E)和LS、LN以及先验概率P(H)计算后验(条件)概率P(H|E)的过程。但是，证据E可以是确定的，也可以是不确定的，并且也可能由多个证据支持同一结论。当证据不确定时，只有通过观察S，得到在此观察下的后验概率P(E|S)，然后求后验概率P(H|S)。有如下公式：P(H|S)=P(H|E)P(E|S)+P(H|E)P(E|S),81,

36、主观bayes方法知识不确定性的表示,P(H|S)=P(H|E)P(E|S)+P(H|E)P(E|S)1)当P(E|S)=1时，有P(E|S)=0，于是有：P(H|S)=P(H|E)2)当P(E|S)=0时，有P(E|S)=1，于是有：P(H|S)=P(H|E)3)当P(E|S)=P(E)时，P(H|S)=P(H|E)P(E)+P(H|E)P(E)=P(H)4)在其他情况：如图表示,82,主观bayes方法知识不确定性的表示,4)在其他情况：如图表示 由上图可得如下式子：,83,主观bayes方法知识不确定性的表示,由于P(E|S)是很难确定的，这时，引入可信度的概念C(E|S)它的取值在-5

37、到5之间，11个数值。当C(E|S)=-5时，P(E|S)=0；当C(E|S)=0时，P(E|S)=P(E)；当C(E|S)=5时，P(E|S)=1；当C(E|S)取其它值时，可通过对上述三点进行分段线性插值得到，如图所示。,84,贝叶斯网的不确定性知识推理,贝叶斯网络是一种概率网络，它是基于概率推理的图形化网络，而贝叶斯公式则是这个概率网络的基础。贝叶斯网络是基于概率推理的数学模型，所谓概率推理就是通过一些变量的信息来获取其他的概率信息的过程，基于概率推理的贝叶斯网络(Bayesian network)是为了解决不定性和不完整性问题而提出的，它对于解决复杂设备不确定性和关联性引起的故障有很的

38、优势，在多个领域中获得广泛应用。,85,贝叶斯网的不确定性知识推理,贝叶斯网的基本概念贝叶斯网的推理模式贝叶斯网的D分离及其推理贝叶斯网的特点用贝叶斯网学习和动作,86,贝叶斯网的基本概念,一个贝叶斯网络是一个有向无环图(Directed Acyclic Graph，DAG)，由代表变量节点及连接这些节点有向边构成。节点代表随机变量，节点间的有向边代表了节点间的互相关系(由父节点指向其子节点)，用条件概率进行表达关系强度，没有父节点的用先验概率进行信息表达。节点变量可以是任何问题的抽象，如：测试值，观测现象，意见征询等。适用于表达和分析不确定性和概率性的事件，应用于有条件地依赖多种控制因素的决

39、策，可以从不完全、不精确或不确定的知识或信息中做出推理。,87,贝叶斯网的基本概念,给定变量集合Vj，如果p(V|Vi,Vj)=p(V|Vj)，那么称变量V条件独立于变量Vi，用符号I(V,Vi|Vj)表示。贝叶斯网的结点用随机变量表示，每个结点Vi条件独立于由Vi的父结点给定的Vi的非后代结点构成的任何结点子集。也就是说，假设S(Vi)是图G中非Vi后代结点的任何结点集合，P(Vi)是G中Vi的直接双亲。图G表示对所有Vi有I(Vi,S(Vi)|P(Vi)。根据条件独立，于是有：p(V|S(Vi),P(Vi)=p(V|P(Vi)。,88,贝叶斯网的基本概念,给定变量集合Vj，如果p(V|Vi

40、,Vj)=p(V|Vj)，那么称变量V条件独立于变量Vi，用符号I(V,Vi|Vj)表示。假设V1,V2,Vk是贝叶斯网的结点，给定由网络假设的条件独立性，于是所有结点的联合概率有：贝叶斯网有时也称为因果关系网。,89,贝叶斯网的基本概念,为了构造一个给定变量集合的贝叶斯网可以从原因变量直接向结果画弧，这样做就构成一个贝叶斯网。例：构造一个举积木的贝叶斯网。原因是：“电池被充电”(B)和“积木是可举起来的”(L)；B和L对应的结果是：“手臂移动”(M)。B对应的结果是：“电池被充了电量”(G)。相对应的贝叶斯网如图所示：利用贝叶斯网络的联合概率求解公式，有：p(B,G,M,L)=p(G|B)p

41、(M|B,L)p(B)p(L)由条件概率的性质，有：p(G,B,M,L)=p(G|B,M,L)p(M|B,L)p(B|L)p(L)利用贝叶斯网可以减少计算量。,90,贝叶斯网的推理模式,在贝叶斯网中有三个重要的推理模式：因果推理或由上向下推理，诊断推理或自底向上推理，辩解。以上例说明其使用。1、因果推理或由上向下推理给定积木是可举的(L)，计算手臂能移动(M)的概率p(M|L)。由于积木是可举的是手臂能移动的原因之一，所以，此计算是因果推理的实例。L是证据，M是询问结点。在计算时，首先，把p(M|L)表示为：p(M|L)=p(M|B,L)p(B|L)+p(M|B,L)p(B|L)由于p(B|L

42、)=p(B)，p(B|L)=p(B)，所以：p(M|L)=p(M|B,L)p(B)+p(M|B,L)p(B)于是，直接计算，可得：p(M|L)=0.855p(M|L)=p(M|B,L)p(B)+p(M|B,L)p(B)p(M|L)=0.950.95+10.05=0.9525,91,贝叶斯网的推理模式,在贝叶斯网中有三个重要的推理模式：因果推理或由上向下推理，诊断推理或自底向上推理，辩解。以上例说明其使用。2、诊断推理或自底向上推理现在计算手臂没移动时(M)，积木不可举(L)的概率p(L|M)。这是上例推理的一个逆否命题的等价命题。由结果到起因的一个反演。这类推理称为诊断推理。利用贝叶斯规则有：

43、p(L|M)p(M)=p(M|L)p(L)用因果推理有：p(M|L)=0.9525于是：p(L|M)p(M)=0.95250.3,92,贝叶斯网的推理模式,在贝叶斯网中有三个重要的推理模式：因果推理或由上向下推理，诊断推理或自底向上推理，辩解。以上例说明其使用。2、诊断推理或自底向上推理现在计算手臂没移动时(M)，积木不可举(L)的概率p(L|M)。这是上例推理的一个逆否命题的等价命题。由结果到起因的一个反演。这类推理称为诊断推理。基本思想：是将原问题向因果推理转换。同理，有：p(L|M)p(M)=p(M|L)p(L)p(M|L)=1-p(M|L)=0.145，于是：p(L|M)p(M)=0.

44、1450.7=0.1015注意到：p(L|M)+p(L|M)=1故有，p(M)=0.95250.3+0.1015,93,贝叶斯网的推理模式,在贝叶斯网中有三个重要的推理模式：因果推理或由上向下推理，诊断推理或自底向上推理，辩解。以上例说明其使用。2、诊断推理或自底向上推理现在计算手臂没移动时(M)，积木不可举(L)的概率p(L|M)。这是上例推理的一个逆否命题的等价命题。由结果到起因的一个反演。这类推理称为诊断推理。基本思想：是将原问题向因果推理转换。同理，有：p(L|M)p(M)=p(M|L)p(L)p(M|L)=1-p(M|L)=0.145，于是：p(L|M)p(M)=0.1450.7=0

45、.1015注意到：p(L|M)+p(L|M)=1故有，p(M)=0.95250.3+0.1015,94,贝叶斯网的D分离及其知识推理,用例子给出D分离的概念：在下图中，通常G的知识能影响B的知识，即结果影响起因，B的知识会影响M的知识。但是，如果给定起因B，G并不能告诉有关M的更多的信息，则称B D分离(依赖方向的分离)G和M。如果对贝叶斯网中的结点Vi和Vj之间的每个无向路径，在路径上存在某个结点Vb，它有如下三个性质之一，则称结点Vi和Vj条件独立于给定的结点集合S(I(Vi,Vj|S)：1、Vb在S中，且路径上的两条弧都从Vb开始。2、Vb在S中，且路径上的一条弧以Vb为头，另一个以Vb

46、为尾。3、Vb和它的任何后继都不在S中，且路径上的两条弧都以Vb为头。,95,贝叶斯网的D分离及其知识推理,用例子给出D分离的概念：如果对贝叶斯网中的结点Vi和Vj之间的每个无向路径，在路径上存在某个结点Vb，它有如下三个性质之一，则称结点Vi和Vj条件独立于给定的结点集合S(I(Vi,Vj|S)：1、Vb在S中，且路径上的两条弧都从Vb开始。2、Vb在S中，且路径上的一条弧以Vb为头，另一个以Vb为尾。3、Vb和它的任何后继都不在S中，且路径上的两条弧都以Vb为头。,96,贝叶斯网的D分离及其知识推理,用例子给出D分离的概念：如果对贝叶斯网中的结点Vi和Vj之间的每个无向路径，在路径上存在某

47、个结点Vb，它有如下三个性质之一，则称结点Vi和Vj条件独立于给定的结点集合S(I(Vi,Vj|S)：1、Vb在S中，且路径上的两条弧都从Vb开始。2、Vb在S中，且路径上的一条弧以Vb为头，另一个以Vb为尾。3、Vb和它的任何后继都不在S中，且路径上的两条弧都以Vb为头。如果给定S，当这些性质中的任何一个占据一条路径时，则称Vb阻塞那条路径。如果Vi和Vj之间所有路径都被阻塞，则称S D分离Vi和Vj，并有Vi和Vj条件独立于给定的S。I(G,L|B)、I(G,L)、I(B,L)。但是，I(B,L|M)不成立。,97,贝叶斯网的D分离及其知识推理,用例子给出D分离的概念：如果对贝叶斯网中的结

48、点Vi和Vj之间的每个无向路径，在路径上存在某个结点Vb，它有如下三个性质之一，则称结点Vi和Vj条件独立于给定的结点集合S(I(Vi,Vj|S)：1、Vb在S中，且路径上的两条弧都从Vb开始。2、Vb在S中，且路径上的一条弧以Vb为头，另一个以Vb为尾。3、Vb和它的任何后继都不在S中，且路径上的两条弧都以Vb为头。如果给定S，当这些性质中的任何一个占据一条路径时，则称Vb阻塞那条路径。如果Vi和Vj之间所有路径都被阻塞，则称S D分离Vi和Vj，并有Vi和Vj条件独立于给定的S。给定证据集合S，如果两个结点集合 Vi和Vj被S D分离，则称它们是条件独立的。给定证据集合S，如果Vi中的所有

49、结点和Vj中的所有结点之间的每条无向路径被阻塞，则称Vi和Vj被S D分离。,98,贝叶斯网的D分离及其知识推理,在polytree中的概率推理Polytree网是一个DAG，在该图中的任何两个结点之间，顺着弧的每个方向只有一条路径。对于Polytree网中的一个结点Q，如果有些结点仅通过Q的双亲与Q相连，则称这些结点在Q的上方；如果一些结点仅通过Q的后继与Q相连，则称这些结点在Q的下方。于是，对于结点Q，有三种类型的证据：1、所有的证据结点在Q的上方；2、所有的证据结点在Q的下方；3、在Q的上方和下方均有证据结点。,99,贝叶斯网的D分离及其知识推理,在polytree中的概率推理1、所有的

50、证据结点在Q的上方；计算P(Q|P5,P4)，这时，按照自底向上的递归算法计算。首先，计算Q的每个祖先的概率，递归的计算这些祖先的祖先。最后，得到所求的概率。P(Q|P5,P4)=P(Q,P6,P7|P5,P4)+P(Q,P6,P7|P5,P4)+P(Q,P6,P7|P5,P4)+P(Q,P6,P7|P5,P4)简记为：利用条件独立的定义产生Q的双亲部分的证据，于是,100,贝叶斯网的D分离及其知识推理,在polytree中的概率推理1、所有的证据结点在Q的上方；计算P(Q|P5,P4）利用条件独立的定义产生Q的双亲部分的证据，于是由已知条件，我们知道，Q条件独立于它的双亲给定的非后继结点，于