不确定性知识的表示与推理技术课件.pptx

2022/12/1,1,第4章 不确定性知识的表示与推理技术,2022/12/1,2,内容,4.1 不确定性知识表示与推理概述4.2 概率方法4.3 可信度方法4.4 主观贝叶斯方法4.5 基于贝叶斯网络的推理,2022/12/1,3,4.1不确定性知识表示与推理概述,一般的（确定性）推理过程：运用已有的知识由已知事实推出结论.如已知:事实 A，B知识 ABC可以推出结论C。 此时，只要求事实与知识的前件进行匹配。问题：如果A可能为真，B比较真，知识ABC只在一定程度上为真，结论如何？,2022/12/1,4,4.1不确定性知识表示与推理概述,通过几个例子认识不确定性：今天有可能下雨如果乌云密布并且电闪雷鸣，则很可能要下暴雨。张三是个秃子“秃子悖论”,2022/12/1,5,4.1不确定性知识表示与推理概述,4.1.1 不确定性及其类型4.1.2 不确定性推理概述,2022/12/1,6,4.1.1 不确定性及其类型(1),不确定性： 知识和信息中含有的不肯定、不可靠、不准确、不精确、不严格、不严密、不完全甚至不一致的成分。按性质、产生的原因及表现形式分类：随机不确定性模糊不确定性不完全性不一致性,2022/12/1,7,4.1.1 不确定性及其类型(2),随机不确定性 随机不确定性是基于概率的一种衡量，即已知一个事件发生有多个可能的结果。虽然在该事件发生之前，无法确定哪个结果会出现，但是，可以预先知道每个结果发生的可能性。例如： “这场球赛甲队可能取胜”“如果头疼发烧，则大概是患了感冒。”2.模糊不确定性 模糊不确定性就是一个命题中所出现的某些言词其涵义不够确切，从概念角度讲，就是其代表的概念的内涵没有硬性的标准或条件，其外延没有硬性的边界。例如：“小王是高个子。”“张三和李四是好朋友。”把涵义不确切的言词所代表的概念称为软概念。,2022/12/1,8,4.1.1 不确定性及其类型(3),3.不完全性 对某事物了解得不完全或认识不够完整、不充分。如，刑侦过程的某些阶段往往要针对不完全的证据进行推理。4.不一致性 随着时间或空间的推移，得到了前后不相容或不一致的结论。如，人们对太空的认识等。,2022/12/1,9,4.1.2 不确定性推理（1）,不确定性推理方法的分类,控制方法,模型方法,非数值方法,数值方法,模糊推理,基于概率,纯概率,可信度方法,证据理论,主观Bayes,通过识别领域内引起不确定性的某些特征及相应的控制策略来限制或减少不确定性对系统产生的影响。,贝叶斯网络,对确定性推理从推理一级上扩展，建立关于不确定性的表示、度量、计算、传播、合成的标准与方法，构成相应的不确定性推理模型。,4.1.2 不确定性推理（2）,不确定性推理是从不确定性的初始证据出发，通过运用不确定性的知识，最终推出具有一定程度的不确定性但却是合理或者近乎合理的理论的思维过程。,2022/12/1,10,11,4.1.3 不确定性推理中的基本问题,不确定性的表示与量度 不确定性匹配算法及阈值的选择 组合证据不确定性的算法 不确定性的传递算法 结论不确定性的合成,12,4.1.3 不确定性推理中的基本问题,1. 不确定性的表示与量度（1）知识不确定性的表示（2）证据不确定性的表示证据的动态强度（3）不确定性的量度,在专家系统中知识的不确定性一般是由领域专家给出的，通常是一个数值知识的静态强度,用户在求解问题时提供的初始证据。 在推理中用前面推出的结论作为当前推理的证据。, 能充分表达相应知识及证据不确定性的程度。 度量范围的指定便于领域专家及用户对不确定性的估计。 便于对不确定性的传递进行计算，而且对结论算出的不确定性量度不能超出量度规定的范围。 度量的确定应当是直观的，同时应有相应的理论依据。,13,4.1.3 不确定性推理中的基本问题,2. 不确定性匹配算法及阈值的选择不确定性匹配算法：用来计算匹配双方相似程度的算法。阈值：用来指出相似的“限度”。3. 组合证据不确定性的算法：最大最小方法、Hamacher方法、概率方法、 有界方法、Einstein方法等。,14,4.1.3 不确定性推理中的基本问题,4. 不确定性的传递算法（1）在每一步推理中，如何把证据及知识的不确定性 传递给结论。（2）在多步推理中，如何把初始证据的不确定性传递 给最终结论。5. 结论不确定性的合成,设有如下产生式规则： IF E THEN H其中，E为前提条件，H为结论，具有随机性。 根据概率论中条件概率的含义，我们可以用条件概率P(H|E) 表示上述产生式规则的不确定性程度，即表示为在证据E出现的条件下，结论H 成立的确定性程度。 对于复合条件 E = E1 AND E2 AND AND En可以用条件概率P(H|E1,E2,En)作为在证据出现时结论的确定程度。,4.2 概率方法,4.2.1 经典概率方法,4.2 概率方法,4.2.2 Bayes定理,设 为一些事件， 互不相交，P(Bi)0，i=1,2,n，且 则对于 有， (4.3.1),Bayes公式容易由条件概率的定义、乘法公式和全概率公式得到。在Bayes公式中， P(Bi)称为先验概率，而P(Bi|A)称为后验概率，也就是条件概率。,4.3 概率方法,如果用产生式规则 IF E THEN Hi i 1, 2, , n其中前提条件E 代替Bayes公式中B，用Hi 代替公式中的Ai 就可得到 i1,2, ,n (4.3.2) 这就是说，当已知结论Hi 的先验概率，并且已知结论Hi(i=1,2,）成立时前提条件E 所对应的证据出现的条件概率P(E|Hi)，就可以用上式求出相应证据出现时结论Hi 的条件概率P(Hi|E)。,4.2.3 逆概率方法的基本思想,1单个证据的情况,18,Bayes定理：逆概率 原概率,4.2 概率方法,例如： ：咳嗽， ：肺炎，条件概率 ：统计咳嗽的人中有多少是患肺炎的。逆概率 ：统计患肺炎的人中有多少人是咳嗽的。,4.2 概率方法,例子:,求P(肺炎|咳嗽)可能比较困难，但统计P(咳嗽|肺炎)可能比较容易(因为要上医院)假设先验概率P(肺炎)=1|10000，而P(咳嗽)=1|10，90%的肺炎患者都咳嗽， P(咳嗽|肺炎)=0.9, 则P(肺炎|咳嗽)=,4.2 概率方法,修正因子(1),可以将前面的逆概率公式写成这说明先验概率P(H)可以通过方括号部分(作为修正因子)修正为后验概率P(H|E) (证据E为真时H的后验概率)在上面的例子中，医生认为一个人得肺炎的可能性为万分之一，一旦发现患者咳嗽，就将调整为万分之九,4.2 概率方法,修正因子(2),将E看作证据，先验概率P(E)越小，且H为真时E的条件概率P(E|H)越大，则修正因子所起作用越大在上例中，如果P(咳嗽)=0.0001 | P(咳嗽|肺炎)=0.9999 | P(肺炎)= 1|10000，不变则P(肺炎|咳嗽)=0.9999，远远超过原来的万分之九,4.2 概率方法,对于有多个证据 和多个结论 并且每个证据都以一定程度支持结论的情况，上面的式子可进一步扩充为 (4.3.3),2多个证据的情况,例,已知：,求：P(H1|E1E2）， P(H2|E1E2）， P(H3|E1E2）解：,同理可得： P(H2|E1E2）=0.52， P(H3|E1E2）=0.03,逆概率公式的优点是它有较强的理论背景和良好的数学特征，当证据及结论彼此独立时计算的复杂度比较低。其缺点是要求给出结论 的先验概率 及证据 的条件概率 ，尽管有些时候 比 相对容易得到，但总的来说，要想得到这些数据仍然是一件相当困难的工作。另外，Bayes公式的应用条件是很严格的，它要求各事件互相独立等，如若证据间存在依赖关系，就不能直接使用这个方法。,4.2 概率方法,4.2.4 逆概率方法的优缺点,2022/12/1,25,4.3可信度方法(确定性理论）,4.3.1 知识的不确定性表示4.3.2 证据的不确定性表示4.3.3 不确定性的传播与计算4.3.4 确定性理论的特点及进一步发展,2022/12/1,26,4.3.1知识的不确定性表示（1）,不确定性度量知识的不确定性表示： if E then H (CF(H, E) CF(H,E)：是该条知识的可信度，称为可信度因子或规则强度，它指出当前提条件 E 所对应的证据为真时，它对结论为真的支持程度。如： “如果头疼发烧，则患了感冒；(0.8)。”“如果乌云密布并且电闪雷鸣，则很可能要下暴雨。 (0.9)”,2022/12/1,27,4.3.1知识的不确定性表示（2）,在CF模型中，CF的定义为 CF(H,E)=MB(H,E) - MD(H,E) 用P(H) 表示H的先验概率； P(H/E) 表示在前提条件E对应的证据出现的情况下，结论H的条件概率。 MB（Measure Belief）：称为信任增长度，它表示因与前提条件 E 匹配的证据的出现，使结论H为真的信任增长度。 MB定义为：,2022/12/1,28,4.3.1知识的不确定性表示（3）,MD（Measure Disbelief）：称为不信任增长度，它表示因与前提条件E匹配的证据的出现，使结论H为真的不信任增长度。MD定义为：,2022/12/1,29,4.3.1知识的不确定性表示（4）,由MB、MD得到CF(H,E)的计算公式：,2022/12/1,30,4.3.1知识的不确定性表示（5）,CF公式的意义当MB（H，E）0时， MD（H，E）0 ，表示由于证据E的出现增加了对H的信任程度。 当MD（H，E）0时， MB（H，E）0，表示由于证据E的出现增加对H的不信任程度。注意：对于同一个E，不可能既增加对H的信任程度又增加对H的不信任程度。,2022/12/1,31,4.3.1知识的不确定性表示（6）,当已知P(H)， P(H/E)，运用上述公式可以求CF(H,E)。但是，在实际应用中， P(H)和P(H/E) 的值是难以获得的。因此，CF(H,E) 的值要求领域专家直接给出。其原则是：若由于相应证据的出现增加结论 H 为真的可信度，则使CF(H,E)0，证据的出现越是支持 H 为真，就使CF(H,E)的值越大；反之，使CF(H,E)0，证据的出现越是支持 H 为假，就使CF(H,E)的值越小；若证据的出现与否与 H 无关，则使 CF(H,E)=0。,2022/12/1,32,4.3.1知识的不确定性表示（7）,例 如果感染体是血液，且细菌的染色体是革兰氏阴性，且细菌的外形是杆状，且病人有严重发烧， 则 该细菌的类别是假单细胞菌属（0.4） 。 这就是专家系统MYCIN中的一条规则。这里的0.4就是规则结论的CF值。,2022/12/1,33,4.3.2证据的不确定性表示（1）,证据的不确定性表示初始证据CF(E)由用户给出先前推出的结论作为推理的证据，其可信度由推出该结论时通过不确定性传递算法而来。,2022/12/1,34,4.3.3不确定性的传播与计算（1）,组合证据 前提证据事实总CF值计算（最大最小法）E=E1 E2 EnCF(E)=minCF(E1) ,CF(E2) , CF(En)E=E1 E2 EnCF(E)=maxCF(E1) ,CF(E2) , CF(En)E=E1CF(E)=-CF(E1),2022/12/1,35,4.3.3不确定性的传播与计算（2）,推理结论的CF值计算 C-F 模型中的不确定性推理是从不确定的初始证据出发，通过运用相关的不确定性知识，最终推出结论并求出结论的可信度值。 结论 H 的可信度由下式计算： CF(H) = CF(H,E) max 0, CF(E) ,当CF(E)0时，CF(H)=0，说明该模型中没有考虑证据为假时对结论H所产生的影响。,2022/12/1,36,4.3.3不确定性的传播与计算（3）,重复结论CF值计算 if E1 then H (CF(H, E1) if E2 then H (CF(H, E2) （1）计算CF1(H) 和CF2(H)； （2）计算CF 1、2(H)：,CF1(H) + CF2(H) CF1(H) CF2(H) 若 CF1(H) 0, CF2(H) 0CF1(H) + CF2(H) + CF1(H) CF2(H) 若 CF1(H) 0, CF2(H) 0 (CF1(H) + CF2(H)/(1-min(|CF1(H)|,|CF2(H)|) 若 CF1(H) 与 CF2(H) 异号,CF1，2(H) =,2022/12/1,37,4.3.3不确定性的传播与计算（4）,例4.1 设有如下规则： r1: IF E1 THEN H 0.8) r2: IF E2 THEN H (0.9) r3: IF E3 AND E4 THEN E1 (0.7) r4: IF E5 OR E6 THEN E1 (0.3)并已知初始证据的可信度为：CF（E2）=0.8，CF（E3）=0.9，CF（E4）=0.7，CF（E5）=0.1，CF（E6）=0.5，用确定性理论计算CF（H）。,2022/12/1,38,4.3.3不确定性的传播与计算（5）,由r3可得： CF1（E1）=0.7min0.9,0.7=0.49由r4可得： CF2（E1）=0.3max0.1,0.5=0.15从而 CF1,2（E1）=（0.490.15）/(1min(|0.49|,|0.15|)=0.34/0.85=0.4由r1可得： CF1（H）=0.40.8=0.32由r2可得： CF2（H）=0.80.9=0.72从而 CF1,2（H）=0.32+0.72-0.320.72=0.8096这就是最终求得的H的可信度。,2022/12/1,39,4.3.4 确定性理论的特点及进一步发展,可信度方法的进一步发展(1)带有阈值限度的不确定性推理 知识表示为： if E then H (CF(H, E), ) 其中 是阈值，它对相应知识的可应用性规定了一个度: 0 1(2)加权的不确定性推理知识表示为： if E1(1) and E2(2) and then H (CF(H,E), ) 其中 1， 1 ， n 为加权因子。(3)前提条件中带有可信度因子的不确定性推理知识表示为： if E1(cf1) and E2(cf2) and then H (CF(H,E), ),2022/12/1,40,4.4主观贝叶斯方法（1）,简介 主观贝叶斯方法是R.O.Duda等人1976年提出的一种不确定性推理模型，并成功地应用于地质勘探专家系统PROSPECTOR。其核心思想是： 根据：.证据的不确定性（概率）P(E); .规则的不确定性（LS，LN）； LS：E 的出现对 H 的支持程度， LN：E 的出现对 H 的不支持程度。把结论 H 的先验概率更新为后验概率 P(H|E)；,2022/12/1,41,4.4主观贝叶斯方法（1）,简介 主观贝叶斯方法是R.O.Duda等人1976年提出的一种不确定性推理模型，并成功地应用于地质勘探专家系统PROSPECTOR。其核心思想是： 根据：.证据的不确定性（概率）P(E); .规则的不确定性（LS，LN）； LS：E 的出现对 H 的支持程度， LN：E 的出现对 H 的不支持程度。把结论 H 的先验概率更新为后验概率 P(H|E)；,2022/12/1,42,4.4主观贝叶斯方法（2）,4.4.1 知识的不确定性表示4.4.2 证据的不确定性表示4.4.3 不确定性的传播与计算4.4.4 主观贝叶斯方法的特点,2022/12/1,43,4.4.1 知识的不确定性表示（1）,知识是用规则表示的，具体形式为： if E then (LS, LN) H ( P(H) )或： 其中 E 是该条知识的前提条件，它既可以是一个简单条件， 也可以是用and 、or 把多个条件连接起来的复条件。 H 是结论，P(H) 是 H 的先验概率，它指出在没有任何专门证据的情况下，结论为真的概率，其值由领域专家根据以往的实践及经验给出。,2022/12/1,44,4.4.1 知识的不确定性表示(2), LS 称为充分性量度，用于指出 E 对 H 的支持程度，取值范围 为 0， ），其定义为： LS = LS 的值由领域专家给出，具体情况在下面论述。 LN 称为必要性量度，用于指出 E 对 H 的支持程度，取值范 围为 0， ），其定义为： LN = = LN 的值也由领域专家给出，具体情况在下面论述。 LS, LN 相当于知识的静态强度。,2022/12/1,45,在贝叶斯方法中，引入几率函数o(x) ，它与概率的关系为:几率函数与概率函数有相同的单调性，但取值为0，下面讨论LS、LN定义的由来,2022/12/1,46,4.4.1 知识的不确定性表示(3),1) 对于LS:,由 Bayes 公式得： P(H|E) = P(E|H) P(H) / P(E) 同理有： P(H|E) = P(E| H) P(H) / P(E) 除以，得： P(H|E) P(E|H) P(H) P(H|E) P(E| H) P(H) ,=,O(H),O(H|E),2022/12/1,47,4.4.1 知识的不确定性表示(4),使用几率函数， 式可以表示为: O(H|E)=LSO(H)对于上式，证据E肯定存在时，即P(E) = P(E|S) = 1，考虑P(H|E)。 由 式 及 “非”运算 ：P( H|E) = 1 P(H|E) 、 P( H) = 1 P(H), 得： LS将H的先验概率更新为后验概率,2022/12/1,48,4.4.1 知识的不确定性表示(5),LS的定义还可以表示为： LS= O(H|E)/ O(H) 可以看出，P(H|E) 就越大，O(H|E)越大，则LS 越大，表明E 对 H 为真的支持越强。当 LS ，P(H|E) 1，E 的存在对 H 为真是充分的，故称 LS 为充分性量度。,2022/12/1,49,4.4.1 知识的不确定性表示(6),2)对于LN: 由 Bayes 公式得： P(H| E) = P(E| H) P(H) / P(E) 同理有： P(H| E) = P(E| H) P(H) / P(E) 除以，得： P(H| E) P(E|H) P(H) P(H| E) P(E| H) P(H) ,O(H),O(H| E),2022/12/1,50,4.4.1 知识的不确定性表示(7),LN的定义还可以表示为： O(H| E)=LNO(H)由 式 及 “非”运算 P( H|E) = 1 P(H|E) 、 P( H) = 1 P(H), 得：LN将H的先验概率更新为后验概率,2022/12/1,51,4.4.1 知识的不确定性表示(8),由 式 可得： LN=O(H| E) /O(H) 可以看出，P(H| E ) 就越大，O(H| E)越大，则LN越大，表明 E 对 H 为真的支持越强。当 LN = 0 ，P(H| E) = 0，E 的不存在导致 H 为假，说明E对H是必要的，故称 LN 为必要性量度。,2022/12/1,52,4.4.1 知识的不确定性表示(8),可以证明：LS、LN0,它们是不独立的，且有如下约束关系：当LS1时，LN1；当LS=1时，LN=1；实际系统中，LS、LN值是有专家给出的。,2022/12/1,53,4.4.2 证据的不确定性表示（1）,证据的不确定性也是用概率表示的。 对于初始证据 E ，由用户根据观察 S 给出 P(E/S)，它相当于动态强度。 具体应用中采用变通的方法，在 PROSPECTOR 中引进了可信度的概念，用C(E/S)刻画证据的不确定性。 让用户在 5 至 5 之间的 11 个整数中选一个数作为初始证据的可信度C(E/S) 。 初始可信度 C(E/S) 与 概率 P(E/S) 的对应关系如下： C(E/S)= -5 ，表示在观察 S 下证据 E 肯定不存在，即 P(E/S)=0；C(E/S)= 0 ， 表示 S 与 E 无关，即 P(E/S) =P(E) ；C(E/S)= +5 ，表示在观察 S 下证据 E 肯定存在，即 P(E/S)=1；,2022/12/1,54,4.4.2 证据的不确定性表示（2）,C(E/S) = 其它数值时，与 P(E/S) 的对应关系可通过对上述三点进行分段线性 插值得到，如下图。,由上图可得到 C(E/S) 与 P(E/S) 的关系式，即由C(E/S) 计算 P(E/S)：,2022/12/1,55,4.4.3不确定性的传播与计算,在主观 Bayes 方法的知识表示中，P(H) 是专家对结论 H 给出的先验概率， 它是在没有考虑任何证据的情况下根据经验给出的。 随着新证据的获得，对 H 的信任程度应该有所改变。主观 Bayes 方法推理的任务就是根据证据 E 的概率 P(E)及 LS , LN 的值，把 H的先验概率 P(H) 更新为后验概率 P(H/E) 或 P(H/ E)。 即： P(H) P(H/E) 或 P(H/ E),2022/12/1,56,4.4.3不确定性的传播与计算(1),在现实中，证据肯定存在或肯定不存在的极端情况是不多的， 更多的是介于两者之间的不确定情况。 现在要在 0 P(E/S) 1 的情况下确定 H 的后验概率 P(H/S) 。 在证据不确定的情况下，不能再用上面的公式计算后验概率，而需使用 R.O.Doda 等人1976年证明的如下公式： P(H/S) = P(H/E) P(E/S) + P(H/E) P(E/S) ,2022/12/1,57,4.4.3不确定性的传播与计算(2),下面分四种情况讨论： 1) P(E|S) = 1 当 P(E|S) = 1 时， P(E|S) = 0，此时公式 变为： P(H|S) = P(H|E) = 这是证据肯定存在的情况。 2) P(E|S) = 0 当 P(E|S) = 0 时， P(E|S) = 1，此时公式 变为： P(H|S) = P(H|E) = 这是证据肯定不存在的情况。,P(H/S) = P(H/E) P(E/S) + P(H/E) P(E/S) ,2022/12/1,58,4.4.3不确定性的传播与计算(3),3) P(E|S) = P(E) 当 P(E|S) = P(E) 时，此时公式 变为： P(H|S) = P(H|E) P(E) + P(H|E) P(E) = P(H) 表示 H 与 S 无关。 4) 当 P(E|S) = 其它值时，通过分段线性插值可得到计算P(H|S)的公式。,全概率公式,2022/12/1,59,4.4.3不确定性的传播与计算(4),该公式称为EH公式。,2022/12/1,60,4.4.3不确定性的传播与计算(5),由前面可知P(E|S)、P(H|S)的计算公式分别为：,2022/12/1,61,4.4.3不确定性的传播与计算(6),对初始证据，用可信度 C(E|S) 计算 P(H|S) 对于初始证据，由于其不确定性是用可信度 C(E|S) 给出的，此时只要把C(E|S) 与 P(E|S) 的对应关系带入上式，便可得到下述公式： 该公式称为CP公式。,2022/12/1,62,4.4.3不确定性的传播与计算(7),相同结论的后验概率合成： 若有n条知识都支持相同的结论H，而且每条知识的前提条件所对应的证据Ei（i =1,2,n）都有相应的观察Si 与之对应, 此时只要先求出每条知识的O(H/Si)，然后运用下述公式求出 O(H/S1,S2,Sn)。,最后，再利用P(H|S1,S2,Sn)与O(H|S1,S2,Sn)的关系： P(H|S1,S2,Sn)=O(H|S1,S2,Sn)/(1+ O(H|S1,S2,Sn)计算P(H|S1,S2,Sn) 。,2022/12/1,63,4.4.3不确定性的传播与计算(8),例4.2 设有如下规则： r1: IF E1 THEN (65, 0.01) H1 r2: IF E2 THEN (300, 0.001) H1 r3: IF H1 THEN (200, 0.002) H2已知： P(E1)=0.1 ，P(E2)=0.03， P(H1)=0. 1 ，P(H2)=0.05，用户提供证据：C(E1|S1)=2，C(E2|S2)=1，计算P(H2|S1，S2)。,2022/12/1,64,4.4.3不确定性的传播与计算(9),分析：自下而上计算：根据LS值，将H的先验概率转换为后验概率，计算P(H1|E1)、P(H1|E2) 使用CP公式计算P(H1|S1)、P(H1|S2) ，计算O(H1|S1)、O(H1|S2)对H1合成。计算 O(H1|S1,S2)、P(H1|S1,S2) 。根据LS值，将H2的先验概率转换为后验概率，计算P(H2|H1) 使用EH公式计算P(H2|S1，S2),(1)计算 P(H1|E1) 、P(H1|S1) 和 O(H1|S2),2022/12/1,65,4.4.3不确定性的传播与计算(10),对于初始证据，使用CP公式：, C(E1/S1)=2 0 使用CP公式的后半部。,2022/12/1,66,4.4.3不确定性的传播与计算(11),(2) 计算P(H1/E2)、 P(H1/S2) 、( O(H1/S2) ),对于初始证据，使用CP公式， C(E2/S2)=1 0 使用CP公式的后半部。,2022/12/1,67,4.4.3不确定性的传播与计算(12),(3) 计算 P(H1/S1,S2) 、O(H1/S1,S2),2022/12/1,68,4.4.3不确定性的传播与计算(13),(4) 计算 P(H2/S1,S2) ( O(H2/S1,S2) ),使用EH公式 P(H1/S1,S2) P(H1) 使用EH公式的后半部。,H2的先验概率为0.05，而最后算出的后验概率为0.6291,2022/12/1,69,4.4.4 主观贝叶斯方法的特点,主要优点： 其计算公式大多是在概率论的基础上推导出来的，具有 较坚实理论基础； 知识的静态强度LS、LN 由领域专家根据实际经验得 到，避免了大量的数据统计工作； 给出了在证据不确定情况下更新先验概率为后验概率的 方法，且从推理过程中看，确实是实现了不确定性的传 递.主要缺点： 它要求领域专家在给出知识时，同时给出 H 的先验概 率，这是比较困难的。 Bayes定理中要求事件间相互独立，限制了该方法的应 用。,2022/12/1,70,4.5 基于贝叶斯网络的推理,4.5.1 贝叶斯网络4.5.2 贝叶斯网络推理,贝叶斯网络（Bayesian Network）有坚实的数学理论基础；采用概率形式的不确定性表示和推理；20世纪80年代，成功应用于专家系统。,贝叶斯网络的基本概念,有向无环图Directed Acyclic Graph，缩写DAG；可用于表示因果关系网。结点代表证据或结论，权代表证据或结论的不确定度；弧代表规则（即因果关系），权代表规则的不确定度。,2022/12/1,73,4.5.1 贝叶斯网络,机器人举积木问题。首先考虑第一个原因，即“电池被充电”（B）和“积木是可举起来的”（L）相对应的变量。B和L对“手臂移动”（M）有一个因果影响，B对G（“仪表指示电池被充电了”）也有因果关系，,74,条件概率表,每个节点旁的条件概率表(简称CPT)中的值对应一个条件事件的概率对于所有父结点的每种指派，确定子结点的发生概率。如P(A|BurglaryEarthquake)=0.94条件事件是父节点取值的一个可能组合每行的概率之和应该为1(表中只给出了为真的情况，为假的概率应为1-p)一个具有k个布尔父节点的布尔变量的条件概率表中有2k个独立的可指定的概率(注意概率值是独立的)没有父节点的节点的概率只有1行 / 为先验概率,贝叶斯网络的构造方法确定包含哪些结点；建立反映条件独立的有向无环图；指派局部概率分布，即CPT。如果CPT包含了足够的条件概率，可以计算出任何联合概率，则称此网络是可计算的（即可推理的）。,因果关系网的示例,结点及其解释S (Smoker)：该患者为吸烟者C (Coal miner)：该患者是煤矿工人L (Lung cancer)：他患了肺癌E (Emphysema)：他患了肺气肿因果关系S可能导致L和EC可能导致E 。,因果关系从哪里得来呢？,贝叶斯网络,是结点间增加连接强度的因果关系网。连接强度用条件概率表示；例：P(B|A)为A到B的连接强度；例：P(B|AC)表示A、C对B的联合作用。CPT除了包含上述条件概率，还包括顶点（即无父结点的结点）的无条件概率（即先验概率）。贝叶斯网络 = 网络结构 + CPT,注：贝叶斯网络不允许包含循环因果关系！,贝叶斯网络：报警网,Burglary,Earthqk,Alarm,John calls,Mary calls,条件独立,有结点A、B和C，若 P(A|BC) = P(A|B)，则称A和C在B条件下独立、A在B条件下独立于C，或A和C关于B独立。所谓“关于B”，有时是给定B的不确定度，有时是完全不知道B的不确定度。“条件独立” 是贝叶斯网络中隐含的断言（assertion）、假设（assumption），贝叶斯网络就是一个表示条件独立关系的图模型。实际中，若已知A在B条件下独立于C，则P(A|BC) = P(A|B)。,条件独立断言有什么用呢？,例：P(S,C,L,E)= P(E|S,C,L) P(L|S,C) P(C|S) P(S)= P(E|S,C) P(L|S,C) P(C|S) P(S)= P(E|S,C) P(L|S) P(C|S) P(S)= P(E|S,C) P(L|S) P(C) P(S),CPT给出这些概率,贝叶斯网络隐含着哪些条件独立断言？,串行连接A通过B影响C；C通过B影响A；如果给定B，则A和C互不影响，这时称A和C关于B条件独立。,注：所谓“影响”与箭头方向无关。,条件独立断言是合理的,分叉连接如果给定A，没有信息可经由A传递给A的子结点，即给定A时，A的子结点之间相互独立，称子结点B、C、F关于A条件独立。,汇集连接多个原因（causes）有一个共同结果（effect）。对结果一无所知时，原因之间条件独立。当结果或其某个子孙已知，父结点之间就不再独立了。,85,贝叶斯网络的条件独立关系,贝叶斯网络中节点相互独立(下面两个定义等价)：(1)给定父节点，一个节点与它的非后代节点是条件独立的(2)给定一个节点的父节点、子节点以及子节点的父节点(Markov blanket)，这个节点对于其它节点都是条件独立的,贝叶斯网络的条件独立关系的判定,d-分离（d-separation),86,给定y时，x和z条件独立,给定y时，x和z条件独立,给定y时，x和z不条件独立,分叉连接,P(Y)=0.01,2022/12/1,87,P(X|Y)=0.9P(X|Y)=0.2,P(Z|Y)=0.8P(Z|Y)=0.3,Z和X关于Y条件独立,汇聚连接,P(S)=0.7,2022/12/1,88,P(H|S,R)=1P(H|S,R)=0.9P(H|S,R)=0.7P(H|S,R)=0.1,未知H时，R和S独立,P(R)=0.01,Explaining away,2022/12/1,89,贝叶斯网络,独立条件独立,2022/12/1,90,例,YesNoNo,91,R,T,B,T,例,R,T,B,D,L,T,Yes,YesNoNo,Yes,92,例,Variables:R: RainingT: TrafficD: Roof dripsS: Im sadQuestions:,T,S,D,R,NoYesNo,93,94,贝叶斯网络的语义,贝叶斯网络的两种含义对联合概率分布的表示构造网络对条件依赖语句集合的编码设计推理过程贝叶斯网络的语义,例：报警网,Burglary,Earthquake,Alarm,John calls,Mary calls,贝叶斯网络的特点,作为对域的一种完备而无冗余的表示，贝叶斯网络比全联合概率分布紧凑得多贝叶斯网络的紧凑性是局部结构化系统一个非常普遍特性的实例贝叶斯网络中每个节点只与数量有限的其它节点发生直接的相互作用,2022/12/1,96,例：报警网,需要的参数个数：,10,5个变量的全联合概率需要25-1=31个参数,贝叶斯网络,2022/12/1,98,16个变量的全联合概率需要216-1=65535个参数,需要的参数个数：,47,4.5.2贝叶斯网络推理,EvidenceHiddenquerry,2022/12/1,99,E H Q,E H Q,E H Q,E H Q,100,贝叶斯网络的精确推理,贝叶斯网络推理：计算被查询变量的后验概率变量分类：查询变量Q 证据变量集E=E1Em，特定事件e非证据也非查询变量的集合(也称隐变量) Y=Y1Yn全部变量集合=QEY推理的任务是：求后验概率P(Q|e),101,贝叶斯网络的精确推理实例,根据防盗警报网，求P(B|JohnCalls=T,M=F)证据JohnCalls=True/MaryCalls=False查询变量Burglary=True隐含变量Earthquake/Alarm计算过程：将条件概率转化为联合概率用首字母简化式有P(b|j,m)=P(b,j,m)=EAP(b,E,A,j,m),102,贝叶斯网络的精确推理实例(续),进一步代入条件概率：P(b|j,m)=EAP(b)P(E)P(A|b,E)P(j|A)P(m|A)上式最坏复杂度仍然是O(n2n)对所有变量求和改进将相对常数移到求和符号以外P(b|j,m)=P(b)EP(E)AP(A|b,E)P(j|A)P(m|A)计算过程(遍历A=a/a和E=e/e)P(j|a)=0.90P(m|a)=0.30P(j|a)=0.05P(m|a)=0.99P(a|b,e)=0.95P(a|b,e)=0.05P(a|b,e)=0.94P(a|b,e)=0.06,103,贝叶斯网络的精确推理实例(续),乘积求和过程 EP(E)AP(A|b,E)P(j|A)P(m|A)=P(e)*AP(A|b,e)P(j|A)P(m|A)+P(e)*AP(A|b,e)P(j|A)P(m|A)=P(e)*P(a|b,e)*P(j|a)*P(m|a)+P(a|b,e)*P(j|a)*P(m|a)+ P(e)*P(a|b,e)*P(j|a)*P(m|a)+ P(a|b,e)* P(j|a)*P(m|a)=0.002*0.95*0.90*0.30+0.05*0.05*0.99+0.998*0.94*0.90*0.30+0.06*0.05*0.99=0.002*0.2565+0.0025+0.998*0.2538+0.0030 =0.002*0.2590+0.998*0.2568=0.2568,104,贝叶斯网络的精确推理实例(续),相应地有P(b|j,m)=P(b)*0.2568=0.001*0.2568=*0.0002568类似地有P(b|j,m)=*P(b)EP(E)AP(A|b,E)P(j|A)P(m|A)=*P(b)*0.002*(0.0783+0.0351) +0.998*(0.0003+0.0495)=*0.999*0.0499=*0.0499归一化以后有P(B|j,m)=只有John打电话而出现盗贼的概率小于1/100,贝叶斯网络-汽车保险赔付网络,2022/12/1,105,2022/12/1,106,贝叶斯网络推理,概率推理可分为因果推理诊断推理辩解混合推理,2022/12/1,107,贝叶斯网络推理,1 因果网络 由原因到结果的推理，即已知网络中的祖先节点而计算后代节点的条件概率。是一种自上而下的推理。在积木是可以举起的（L）的条件下，计算手臂能移动（M）的概率P（M/L）。由于积木可举起是手臂能移动的原因之一，因此，这是一个典型的因果推理。L称作推理的证据，而M称作询问节点。,2022/12/1,108,贝叶斯网络推理,首先，由于M还有另外一个因节点电池被充电（B），因此可以对概率P（M/L）进行扩展，得