第四章不确定性推理精品文档课件.ppt

《第四章不确定性推理精品文档课件.ppt》由会员分享，可在线阅读，更多相关《第四章不确定性推理精品文档课件.ppt（93页珍藏版）》请在三一办公上搜索。

1、第四章 不确定性推理,本章内容,不确定性推理中的基本问题,证据理论,概率方法,主观Bayes方法,4,1,6,3,可信度方法,5,不确定性推理方法分类,2,4.1 不确定性推理中的基本问题,要实现对不确定性知识的处理，必须要解决不确定知识的表示问题，不确定信息的计算问题，以及不确定性表示和计算的语义解释问题。,1表示问题,1、知识不确定性的表示2、证据的不确定性表示,2. 计算问题,1、不确定性的传递算法2、结论不确定性的合成3、组合证据的不确定性算法,3. 语义问题,1、知识的不确定性度量2、证据的不确定性度量,4.2 不确定性推理方法分类,1、模型方法 特点:把不确定的证据和不确定的知识分

2、别与某种度量标准对应起来，并且给出更新结论不确定性的算法，从而构成了相应的不确定性推理的模型。,非数值方法是指出数值方法外的其他各种处理不确定性的方法 ,它采用集合来描述和处理不确定性，而且满足概率推理的性质。,非数值方法,数值方法是对不确定性的一种定量表示和处理方法。,数值方法,数值方法,分类,2、模糊推理,1、基于概率的方法,对于数值方法，按其依据的理论不同又可分为以下两类：,4.2 不确定性推理方法分类,4.2 不确定性推理方法分类,纯概率方法虽然有严密的理论依据，但它通常要求给出事件的先验概率和条件概率，而这些数据又不易获得，因此其应用受到了限制。为了解决这这个问题，人们在概率理论的基

3、础上发展起来了一些新的方法及理论:,1、主观Bayes方法,2、可信度方法,3、证据理论,它是PROSPECTOR专家系统中使用的不确定推理模型，是对Bayes公式修正后形成的一种不确定推理方法。,它是MYCIN专家系统中使用的不确定推理模型，它以确定性理论为基础，方法简单、易用。,它通过定义信任函数、似然函数，把知道和不知道区别开来。,4.2 不确定性推理方法分类,2、控制方法 特点:通过识别领域中引起不确定性的某些特征及相应的控制策略来限制或减少不确定性对系统产生的影响，这类方法没有处理不确定性的统一模型，其效果极大地依赖于控制策略。,相关性制导回溯,机缘控制,启发式搜索,设有如下产生式规

4、则： IF E THEN H其中，E为前提条件，H为结论，具有随机性。 根据概率论中条件概率的含义，我们可以用条件概率表示上述产生式规则的不确定性程度，即表示为在证据出现的条件下，结论H成立的确定性程度。 对于复合条件 E = E1 AND E2 AND AND En可以用条件概率作为在证据出现时结论的确定程度。,4.3 概率方法,4.3.1 经典概率方法,4.3 概率方法,4.3.2 Bayes定理,设 为一些事件， 互不相交，P(Bi)0，i=1,2,n，且 则对于 有， (4.3.1),Bayes公式容易由条件概率的定义、乘法公式和全概率公式得到。在Bayes公式中， P(Bi)称为先验

5、概率，而P(Bi|A)称为后验概率，也就是条件概率。,4.3 概率方法,4.3.3 逆概率方法的基本思想,1单个证据的情况,如果用产生式规则 IF E THEN Hi i 1, 2, , n其中前提条件E 代替Bayes公式中B，用Hi 代替公式中的Ai 就可得到 i1,2, ,n (4.3.2) 这就是说，当已知结论Hi 的先验概率，并且已知结论Hi(i=1,2,）成立时前提条件E 所对应的证据出现的条件概率P(E|Hi)，就可以用上式求出相应证据出现时结论Hi 的条件概率P(Hi|E)。,4.3 概率方法,例子:,求P(肺炎|咳嗽)可能比较困难，但统计P(咳嗽|肺炎)可能比较容易(因为要上

6、医院)假设P(肺炎)=1|10000，而P(咳嗽)=1|10，90%的肺炎患者都咳嗽， P(咳嗽|肺炎)=0.9, 则P(肺炎|咳嗽)=,4.3 概率方法,修正因子(1),可以将前面的逆概率公式写成这说明先验概率P(H)可以通过方括号部分(作为修正因子)修正为后验概率P(H|E) (证据E为真时H的后验概率)在上面的例子中，医生认为一个人得肺炎的可能性为万分之一，一旦发现患者咳嗽，就将调整为万分之九,4.3 概率方法,修正因子(2),将E看作证据，先验概率P(E)越小，且H为真时E的条件概率P(E|H)越大，则修正因子所起作用越大在上例中，如果P(咳嗽)=0.0001 | P(咳嗽|肺炎)=0

7、.9999 | P(肺炎)不变则P(肺炎|咳嗽)=0.9999，远远超过原来的万分之九,4.3 概率方法,2多个证据的情况,对于有多个证据 和多个结论 并且每个证据都以一定程度支持结论的情况，上面的式子可进一步扩充为 (4.3.3),例,已知：,求：P(H1|E1E2）， P(H2|E1E2）， P(H3|E1E2）解：,同理可得： P(H2|E1E2）=0.52， P(H3|E1E2）=0.03,逆概率公式的优点是它有较强的理论背景和良好的数学特征，当证据及结论彼此独立时计算的复杂度比较低。其缺点是要求给出结论 的先验概率 及证据 的条件概率 ，尽管有些时候 比 相对容易得到，但总的来说，要

8、想得到这些数据仍然是一件相当困难的工作。另外，Bayes公式的应用条件是很严格的，它要求各事件互相独立等，如若证据间存在依赖关系，就不能直接使用这个方法。,4.3 概率方法,4.3.4 逆概率方法的优缺点,4.4 主观Bayes方法,4.4.1 知识不确定性的表示,在主观Bayes方法中，知识是用产生式规则表示的，具体形式为 IF E THEN (LS，LN) H (P(H)其中（1）E 是该知识的前提条件。它既可以是一个简单条件，也可以是复合条件。（2）H 是结论。P(H)是 H 的先验概率，它指出在没有任何证据情况下的结论 H 为真的概率，即 H 的一般可能性。其值由领域专家根据以往的实践

9、及经验给出。（3）（LS，LN）为规则强度。其值由领域专家给出。LS，LN相当于知识的静态强度。LS=P(E|H)|P(E|H) LN=P(E|H)|P(E|H),4.4 主观Bayes方法,4.4.1 知识不确定性的表示,引入概率的相对量度定义几率函数： 称为H的几率函数或先验几率，取值范围0,)由此反过来有定义条件几率：,4.4 主观Bayes方法,4.4.1 知识不确定性的表示,后验几率和先验几率的关系：例子：O(晴天|冬天早晨有雾)=4.2，如果冬天早晨有雾，则该天为晴天的可能性是非晴天可能性的4.2倍由几率定义、条件几率定义和条件概率公式可以推得后验几率和先验几率的关系： 则可得下述

10、关系： O(H|E)=LS*O(H) O(H|E)=LN*O(H),4.4 主观Bayes方法,4.4.1 知识不确定性的表示,对LS和LN的约束对于LS和LN有如下约束要求：二者都是非负的，并且满足即LS和LN不是独立取值，均大于0；不可以E支持H的同时E也支持H，即LS和LN不可同时大于1，也不可同时小于1.,4.4 主观Bayes方法,4.4.3 不确定性的传递算法,主观Bayes推理过程是：根据证据E的概率P(E)，利用规则的LS和LN，把结论的先验概率P(H)更新为后验概率P(H|E)或P(H|E) ，因而也称为概率传播。,4.4 主观Bayes方法,4.4.2 证据不确定性的表示,

11、若以O(A) 或P(A)表示证据A的不确定性，则转换公式是：,4.4 主观Bayes方法,4.4.3 不确定性的传递算法,1证据肯定存在的情况 在证据E 肯定存在时，把先验几率O(H)更新为后验几率O(H|E)的计算公式为 (4.4.1) 如果将上式换成概率，就可得到 (4.4.2) 这是把先验概率P(H)更新为后验概率P(H|E)的计算公式。,4.4 主观Bayes方法,2证据肯定不存在的情况 在证据E肯定不存在时，把先验几率O(H)更新为后验几率O(H|E)的计算公式为 (4.4.3) 如果将上式换成概率，就可得到 (4.4.4) 这是把先验概率P(H)更新为后验概率P(H|E)的计算公式

12、。,4.4 主观Bayes方法,3证据不确定的情况 在证据不确定的情况下，不能再用上面的公式计算后验概率，而要用杜达等人1976年证明了的公式 (4.4.5) 来计算。,下面分四种情况讨论这个公式(4.4.5)：（1）当P(E|S)=1时，此时式(4.4.5)变成这就是证据肯定存在的情况。（2）当P(E|S)=0时，此时式(4.4.5)变成这就是证据肯定不存在的情况。,4.4 主观Bayes方法,（3）当P(E|S)=P(E)时，表示E与S无关，利用全概率公式将公式(4.4.5)变为（4）当P(E|S)为其它值时，通过分段线性插值就可得计算P(H|S)的公式 该公式称为EH公式或UED公式。,

13、4.4 主观Bayes方法,4组合证据的情况 （1）当组合证据是多个单一证据的合取时，即 E = E1 and E2 and and En 时，如果已知 则 P(E|S)=min （2）当组合证据E是多个单一证据的析取时，即 E = E1 or E2 or or En 时，如果已知 则， P(E|S)=max “非”运算用下式计算,4.4 主观Bayes方法,若有n条知识都支持相同的结论，而且每条知识的前提条件所对应的证据 都有相应的观察 与之对应，此时只要先对每条知识分别求出 然后就可运用下述公式求出,4.4 主观Bayes方法,4.4.4 结论不确定性的合成算法,4.4 主观Bayes方法

14、,例2 设有如下知识R1：IF A THEN (20，1) B1(0.03)R2：IF B1 THEN (300，0.0001) B2(0.01)求：P(B2 |A)的值是多少？,解:（1）由于A必发生，由R1得,（2）由于B1不是必发生的，所以需作插值处理。,设,4.4.5 例子,4.4 主观Bayes方法,当,时，有,，所以在此区间插值。,由于,4.4 主观Bayes方法,解：依R1，P1（B）0.03O（B1）0.03/(1-0.03)=0.030927O(B1|A1)=LSO(B1)=200.030927=0.61855P(B1|A1)= 0.61855/(1+0.61855)=0.3

15、82使用规则R1后，B1的概率从0.03上升到0.382,4.4.5 例子3,例3 证据A1，A2必然发生，且P（B1）0.03规则如下：R1：A1B1 LS=20 LN=1; R2：A2B1 LS=300LN=1求B1的更新值。,4.4 主观Bayes方法,依R2：O(B1|A1A2)=300O(B1|A1)=185.565P(B1|A1A2)= 185.565/(1+185.565)=0.99464使用规则R2后，B1的概率从0.382上升到0.99464,4.4 主观Bayes方法,解：由于B1不确定，所以讨论其前项证据的影响，用插值法。1）当A必然发生时，依R1，P（B1）0.03O（

16、B1）0.03/(1-0.03)=0.030927O(B1|A1)=LSO(B1)=200.030927=0.61855P(B1|A1)= 0.61855/(1+0.61855)=0.3822）当P(B1|A1)= 1时， P(B2|B1) = P(B2|A) = LS*P(B2)/（(LS-1）*P(B2)+1) = 0.75188,4.4.5 例子,例4证据A必然发生，且P（B1）0.03， P(B2)=0.01规则如下：R1：AB1 LS=20 LN=1; R2：B1B2 LS=300LN=0.0001求B2的更新值。,3）A对B1没影响， P(B1|A1)= P(B1)= 0.03时，

17、由已知P(B2)=0.01最后进行插值：P(B1|A) P(B1), P(B2|A) = 0.01 + (0.75188-0.01)(1-0.03)/(0.382-0.03) = 0.3,主观Bayes方法的主要优点如下：（1）主观Bayes方法中的计算公式大多是在概率论的基础上推导出来的，具有较坚实的理论基础。（2）知识的静态强度LS及LN是由领域专家根据实验经验给出的，这就避免了大量的数据统计工作。另外，它既用LS指出了证据E对结论H的支持程度，又用LN指出了E对H的必要性程度，这就比较全面地反映了证据与结论间因果关系，符合现实世界中某些领域的实际情况，使推出的结论有较准确的确定性。,4.

18、4 主观Bayes方法,4.4.6 主观Bayes方法的主要优缺点,（3）主观Bayes方法不仅给出了在证据肯定存在或肯定不存在情况下由H的先验概率更新为后验概率的方法，而且还给出了在证据不确定情况下更新先验概率为后验概率的方法。另外，由其推理过程可以看出，它确实实现了不确定性的逐级传递。因此，可以说主观Bayes方法是一种比较实用且较灵活的不确定性推理方法。 它的主要缺点如下（1）要求领域专家在给出知识的同时给出H的先验概率P(H)，这是比较困难的。（2）Bayes方法中关于事件间独立性的要求使主观Bayes方法的应用受到了限制。,4.4 主观Bayes方法,所谓可信度就是在实际生活中根据自

19、己的经验对某一事物或现象进行观察，判断相信其为真得程度。 例如，张三昨天没有上课，他的理由是肚子疼，就此理由而言，听话的人可能完全相信，也可能完全不相信，也可能在某种程度上相信，这与张三平时的表现和人们对他的话相信程度有关。 这里的相信程度就是我们说的可信度。可信度也称为确定性因子。,4.5 可信度方法,4.5.1 可信度的概念,在以产生式作为知识表示的专家系统MYCIN中，用以度量知识和证据的不确定性。 显然，可信度具有较大的主观性和经验性，其准确性是难以把握的。但是，对于某一具体领域而言，由于该领域的专家具有丰富的专业知识和实践经验，要给出该领域知识的可信度还是完全有可能的。另外，人工智能

20、所面临的问题，通常都较难用精确的数学模型进行描述，而且先验概率及条件概率的确定也比较困难，因此用可信度来表示知识及证据的不确定性仍然不失为一种可行的方法。,4.5 可信度方法,4.5 可信度方法,4.5.2 C-F模型,C-F模型是基于可信度表示的不确定性推理的基本方法，其他可信度方法都是在此基础上发展起来的。,1知识不确定性的表示,2证据不确定性的表示,3组合证据不确定性的算法,4不确定性的传递算法,5结论不确定性的合成算法,4.5 可信度方法,4.5.3 可信度方法应用举例,已知 R1：IF A1 THEN B1 CF(B1,A1)=0.8； R2: IF A2 THEN B1 CF(B1

21、,A2)=0.5； R3: IF B1A3 THEN B2 CF(B2,B1A3)=0.8;初始证据为A1,A2,A3的可信度CF均设为1，即,CF(A1)= CF(A2)= CF(A3)=1,对B1,B2一无所知,求CF(B1)和CF(B2)。,例4.5.1,4.5 可信度方法,解:由于对B1,B2一无所知，所以使用合成算法进行计算。由题意得到推理网络如下图所示。,4.5 可信度方法,(1)对于知识 ,分别计算,(2)利用合成算法计算 的综合可信度,(3)计算 的可信度，这时， 作为 的证据，其可信度已由前面计算出来。CF( )=0.9，而 的可信度为初始制定的1。由规则 和公式(4.5.1

22、)得到,所以，所求得的 ， 的可信度更新值分别为,4.6 证据理论,4.6.1 基本概念,证据理论假设有一个不变的两两相斥的完备元素集合U，如下图所示，这里U为,例如,U =三轮车，汽车，火车U =赤，橙，黄，绿，青，蓝，紫U =马，牛，羊，鸡，狗，兔,图4.4 证据理论说明图,4.6 证据理论,4.6.2 D-S理论,证据理论是用集合表示命题的。设D是变量x所有可能取值的集合，且D中的元素是互斥的，在任一时刻x都取D中的某一个元素为值，则称D为x的样本空间。在证据理论中，D的任何一个子集A都对应于一个关于x的命题，称该命题为“x的值在A中”。,证据理论中，为了描述和处理不确定性，引入了概率分

23、配函数、信任函数及似然函数等概念。,设D为样本空间，领域内的命题都用D的子集表示，则概率分配函数（Function of Probability Assignment）定义如下。定义4.6.1 设函数M： ,且满足则称M是 上的概率分配函数，M(A)称为A的基本概率函数（Function of Basic Probability Assignment），即对于样本空间D的任一子集都分配一个概率值。,4.6 证据理论,1、概率分配函数,定义4.6.2 设函数Bel： ,且 （ ）则称为命题A的信任函数（Function of Belief）,即命题A的信任函数值，就是A的所有子集的基本概率分配函

24、数之和，用来表示对A的总信任。Bel函数又称为下限函数，以Bel（A）表示对命题A为真的信任程度。,4.6 证据理论,2. 信任函数,似然函数（Plausible Function）又称为不可驳斥函数或上限函数，下面给出它的定义。 定义4.6.3 似然函数: ,且 （ ） 命题A的似然函数值就是所有与A相交的子集的基本概率分配函数之和，用来表示不否定A的信任度。,4.6 证据理论,3. 似然函数,因为 ，所以即 由于 表示对A为真的信任程度， 表示对A为非假的信任程度，因此可分别称 和 为对A信任程度的下限和上限，记作,4.6 证据理论,4信任函数与似然函数的关系,有时对同样的证据会得出两个不

25、同的概率分配函数。例如，对于样本空间 ，从不同的来源可分别得到如下两个概率分配函数： 此时需要对它们进行组合，德普斯特提出的组合方法可对这两个概率分配函数进行正交和运算。,4.6 证据理论,5概率分配函数的正交和,4.6 证据理论,设 是两个概率分配函数，则其正交和 为 其中， 。 如果 ,则正交和M也是一个概率分配函数；如果K0,则不存在正交和M，称 矛盾。,定义4.6.4,4.6 证据理论,定义4.6.5,对于多个概率分配函数 ，如果它们可以组合，则也可通过正交和运算将它们组合为一个概率分配函数，其定义如下。,设 是n个概率分配函数，则其正交 和 为其中， 。,4.6 证据理论,定义4.6

26、.5,6类概率函数,除了可以利用区间(Bel(A)和 )表示A的不确定性以外，还可以用A的类概率函数表示A的不确定性。 定义4.6.6 命题A的类概率函数为 其中，分别是A及D中元素的个数。 具有如下性质：,4.6 证据理论,4.6.3 知识的不确定性的表示,在该模型中，不确定性知识用如下的产生式规则表示： IF E THEN CF = 其中，（1）E为前提条件，它是样本空间D的子集。E既可以是简单条件，也可以是用AND或OR连接起来的复合条件。（2）H是结论，它用样本空间中的子集表示， 是该子集中的元素。（3）CF 是可信度因子，用集合形式表示，其中，用来指出 的可信度， 与 一一对应, 应

27、满足如下条件,4.6 证据理论,4.6.4 证据的不确定性的表示,不确定性证据E的确定性用CER(E)表示。对于初始证据，其确定性由用户给出；当用前面推理所得结论作为当前推理的证据时，其确定性由推理得到。CER(E)的取值范围为 。1 组合证据不确定性的算法 当组合证据是多个证据的合取，即 时，则E的确定性CER(E)为 当组合证据是多个证据的析取，即 时，则E的确定性CER(E)为,4.6 证据理论,2 不确定性的传递算法 1）如果只有一条知识支持结论H，即 IF E THEN 结论H的确定性通过下述步骤求出。 对于上述知识，H的概率分配函数规定为这样便求得M(H)。,4.6 证据理论,2）

28、如果有两条知识支持同一结论，即 IF THEN IF THEN 结论H的确定性通过下述步骤求出。 首先分别对每一条知识求出概率分配函数：然后再用公式对 求正交和，从而得到H的概率分配函数M。,4.6 证据理论,3）如果有n条知识都支持同一结论H，则用公式 对 求其正交和，从而得到H的概率分配函数M。 最后求出,4.6 证据理论,4）按如下公式求出H的确定性CER(H) CER (H)=MD(H|E)f(H)其中，MD(H|E)是知识的前提条件与相应证据E的匹配度，定义为MD(H|E) 这样，就对一条知识或者多条有相同结论的知识求出了结论的确定性。如果该结论不是最终结论，即它又要作为另一条知识的

29、证据继续进行推理，则重复上述过程就可得到新的结论及其确定性。如此反复运用该过程，就可推出最终结论及它的确定性。,4.6 证据理论,4.6.5 例子,例4.6.1,已知 计算CER(B)。,解 先计算组合证据 的正确性再计算结论的分配函数M(b1,b2)= (0.60.3,0.60.5)=(0.18,0.3),4.6 证据理论,4.6.5 例子,得到结论的信任函数随之有而对于D的其他子集的M值均赋予0。得到结论的似然函数 最后得到,4.6 证据理论,4.6.6 证据理论的主要优缺点,最后需要说明的是，当D中的元素很多时，信任函数Bel及正交和等的运算将是相当复杂的，工作量很大，这是由于需要穷举D

30、的所有子集，而子集的数量是 的缘故。另外，证据理论要求D中的元素是互斥的，这一点在许多应用领域也难以做到。为解决这些问题，巴尼特提出了一种方法，运用这种方法可以降低计算的复杂性并解决互斥的问题。该方法的基本思想是把D划分为若干组，每组只包含相互排斥的元素，称为一个辨别框，求解问题时，只需在各自的辨别框上考虑概率分配的影响。,4.6 证据理论,证据理论的优点是它只需满足比概率论更弱的公理系统，能处理由“不知道”所引起的不确定性，由于D的子集可以是多个元素的集合，因而知识的结论部分可以是更一般的假设，这就便于领域专家从不同的语义层次上表达他们的知识，不必被限制在由单元素所表示的最明确的层次上。在应

31、用证据理论时需要注意的是合理地划分辨别框及有效地控制计算的复杂性等。,65,4.7贝叶斯信念网,定义：贝叶斯信念网（简称贝叶斯网）表示一组变量的联合概率分布是一个有向无环图(DAG)随机变量集组成网络节点，变量可离散或连续连接节点对的有向边组成边集合每节点yi都有一个条件概率分布表：P(yi|Parents(yi)，量化其父节点对该节点的影响,贝叶斯信念网的表示,条件概率表,每个节点旁的条件概率表(简称CPT)中的值对应一个条件事件的概率如P(A|B,E)=0.94=P(A|BurglaryEarthquake)条件事件是父节点取值的一个可能组合每行的概率之和应该为1 一个具有k个布尔父节点的

32、布尔变量的条件概率表中有2k个独立的可指定的概率(注意概率值是独立的)没有父节点的节点的概率只有1行 / 为先验概率,贝叶斯网络的语义,对联合概率分布的表示对条件依赖性语句集合的编码两种观点等价，前者帮助我们理解如何构造网络，后者则帮助我们设计推理过程。,69,贝叶斯信念网的表示（2）,贝叶斯信念网表示的全联合概率计算公式如下：,贝叶斯信念网的语义公式计算示例：,试计算：报警器响了，但既没有盗贼闯入，也没有发生地震，同时John和Mary都给你打电话的概率。解： P(J=T,M=T,A=T,B=F,E=F) = P(J=T|A=T)P(M=T|A=T)P(A=T| B=F,E=F) P(B=F

33、) P(E=F) = 0.9*0.7*0.001*0.999*0.998 = 0.00062 = 0.062%,贝叶斯网络的特性：,作为对域的一种完备而无冗余的表示，贝叶斯网络比全联合概率分布紧凑得多BN的紧凑性是局部结构化(Locally structured, 也称稀疏, Sparse)系统一个非常普遍特性的实例BN中每个节点只与数量有限的其它节点发生直接的相互作用假设有n个随机变量，每个随机变量受至多k（kn)个其他随机变量的影响，则指定每个条件概率表所需信息至多为2k个数据，整个网络可以由不超过n2k个数据完全描述。,参数复杂性问题,贝叶斯信念网表示的联合概率计算公式：,全联合概率计算

34、公式：,参数复杂性问题,5个二元变量 全联合概率计算公式共32个参数,需定义31个参数. BBN的联合概率计算公式共20个参数,需定义10个参数,参数复杂性问题,假设节点数n=30, 每节点有5个父节点，则BN需30 x25=960个数据，而全联合概率分布需要230= 10亿个！,贝叶斯网络的构造原则：,首先，添加“根本原因”节点然后，加入受它们直接影响的变量依次类推，直到叶节点，即对其它变量没有直接因果影响的节点两节点间的有向边的取舍原则：更高精度概率的重要性与指定额外信息的代价的折衷“因果模型”比“诊断模型”需要更少的数据，且这些数据也更容易得到,贝叶斯网络中的条件独立关系：,给定父节点，

35、一个节点与它的非后代节点是条件独立的给定一个节点的父节点、子节点以及子节点的父节点马尔可夫覆盖(Markov blanket)，这个节点和网络中的所有其它节点是条件独立的,【说明】：给定节点X的父节点U1. Um，节点X与它的非后代节点（即Zij）是条件独立的。,【说明】：给定马尔可夫覆盖（蓝色的区域），节点X和网络中所有其它节点都是条件独立的。,贝叶斯网络,建立贝叶斯网络的目的有了网络。可以提出问题：P(问题|证据)， 如：P(吸烟|肺癌）进行概率推理与谓词逻辑有相似之处 。如：患病（吸烟，肺癌）在某些场合下有有效的推理方法。有一些工具包。一般情况下是很困难的，原因不是所有的CPT表都能够得

36、到网络结构大且复杂NP-hard推理我们要做的是，将问题正确的表示为合理的网络形式，选用适合的算法。,80,贝叶斯信念网的推理,可以用贝叶斯网在给定其他变量的观察值时推理出某些目标变量的值由于所处理的是随机变量，所以一般不会赋予目标变量一个确切的值真正需要推理的是目标变量的概率分布，它指定了在给予其他变量的观察值条件下，目标变量取每一个可能值的概率在网络中所有其他变量都确切知道的情况下，这一推理步骤很简单一般来说，贝叶斯网络可用于在知道某些变量的值或分布时计算网络中另一部分变量的概率分布,贝叶斯网络的精确推理,概率推理系统中的基本任务：计算被查询变量的后验概率设X为待查询变量 / e为观察到的

37、证据(已知) / E=E1Em证据变量集合 / Y=Y1Yn既非证据也非查询变量的集合(也称隐变量)全部变量集合=XEY推理的任务是：求后验概率P(X|e),贝叶斯网络的精确推理,以防盗警报为例，已知证据JohnCalls=True/MaryCalls=True 求出现盗贼的概率： P(B|JohnCalls=T,M=F),贝叶斯网络的精确推理,在贝叶斯网络中可通过计算条件概率的乘积并求和来回答查询。 P(X|e) = P(X,e) = yP(X,e,y) 而P(X,e,y)可写成条件概率乘积的形式。,（1）通过枚举进行推理,Burglary,Earthquake,MaryCalls,John

38、Calls,Alarm,已知，一个事件e = JohnCalls = true, and MaryCalls = true，试问出现盗贼的概率是多少？ 解：查询变量Burglary=True 隐含变量Earthquake/Alarm P(Burgary | JohnCalls = true, MaryCalls = true)简写为： P(B | j, m) = P(B, j, m) = eaP(B, e, a, j, m) = ea P(b)P(e)P(a|b,e)P(j|a)P(m|a) = P(b) e P(e) a P(a|b,e)P(j|a)P(m|a),P(B | j, m) =

39、P(B, j, m) = eaP(B, e, a, j, m)= ea P(b)P(e)P(a|b,e)P(j|a)P(m|a)= P(b) e P(e) a P(a|b,e)P(j|a)P(m|a)= 0.0010.002(0.950.90.7 + 0.050.05 0.01) + 0.998 (0.94 0.9 0.7+0.06 0.05 0.01) = 0.00059224,P(B | j, m) = P(B, j, m) = eaP(B, e, a, j, m)= ea P(b)P(e)P(a|b,e)P(j|a)P(m|a)= P(b) e P(e) a P(a|b,e)P(j|a)

40、P(m|a)= 0.9990.002(0.290.90.7 + 0.710.05 0.01) + 0.998 (0.001 0.9 0.7+0.999 0.05 0.01) = 0.0014919因此，P(B|j, m) = 即在John和Mary都打电话的条件下，出现盗贼的概率约为28%。,（2）变量消元算法,消除重复计算，提高枚举算法的效率 保存中间结果，以备多次使用从右到左（在树结构中为自底向上）的次序计算BN的计算公式算法过程：参见人工智能：一种现代方法中的第14章14.4.2节,89,贝叶斯信念网的近似推理,对任意贝叶斯网络的概率的确切推理已经知道是一个NP难题Monte Carlo

41、方法提供了一种近似的结果，通过对未观察到的变量进行随机采样理论上，即使是贝叶斯网络中的近似推理也可能是NP难题实践中许多情况下近似的方法被证明是有效的,90,学习贝叶斯信念网,从训练数据中学到贝叶斯信念网，有多种讨论的框架：网络结构可以预先给出，或由训练数据中得到所有的网络变量可以直接从每个训练样例中观察到，或某些变量不能观察到如果网络结构已知且变量可以从训练样例中完全获得，那么得到条件概率表就比较简单如果网络结构已知，但只有一部分变量值能在数据中观察到，学习问题就困难多了。这类似于在人工神经网络中学习隐藏单元的权值Russtll（2019）提出了一个简单的梯度上升过程以学习条件概率表中的项，相当于对表项搜索极大似然假设,4.8 不确定推理的其他方法,基于规则的不确定性推理方法表示无知性：Dempters-Shafer理论表示模糊性：模糊集和模糊逻辑参考人工智能一种现代方法,谢 谢 !,docin/sanshengshiyuandoc88/sanshenglu,更多精品资源请访问,