不确定性推理ppt课件.ppt

第四章 不确定性推理,1,4.1 概述,不精确思维并非专家的习惯或爱好所至，而是客观现实的要求。很多原因导致同一结果推理所需的信息不完备背景知识不足信息描述模糊信息中含有噪声规划是模糊的推理能力不足解题方案不唯一,2,在客观世界中，由于事物发展的随机性和复杂性，人类认识的不完全、不可靠、不精确和不一致性，自然语言中存在的模糊性和歧义性，使得现实世界中的事物以及事物之间的关系极其复杂，带来了大量的不确定性。大多数要求智能行为的任务都具有某种程度的不确定。不确定性可以理解为在缺少足够信息的情况下做出判断。,3,确定性推理是建立在经典逻辑基础上的经典逻辑的基础之一就是集合论这在很多实际情况中是很难做到的，如高、矮、胖、瘦就很难精确地分开。经典逻辑不适合用来处理不确定性。,不确定推理是建立在非经典逻辑基础上的一种推理，它是对不确定性知识的运用与处理。不确定性推理就是从不确定性初始证据出发，通过运用不确定性的知识，最终推出具有一定程度的不确定性但却是合理或者近乎合理的结论的思维过程。,4,在专家系统中，不确定性表现在证据、规则和推理三个方面，需要对专家系统中的事实与规则给出不确定性描述，并在此基础上建立不确定性的传递计算方法。要实现对不确定性知识的表达，须解决：表示问题计算问题语义问题,表示问题指的是采用什么方法描述不确定性。通常有数值表示和非数值的语义表示方法。数值表示便于计算、比较；非数值表示，是一种定性的描述。在专家系统中的“不确定性” 分为：知识的不确定性(EH，f(H，E)它表示相应知识的不确定性程度，称为知识或规则强度。证据的不确定性(E，C(E)它表示证据E为真的程度。它有两种来源：初始证据 (由用户给出)；前面推出的结论作为当前证据 (通过计算得到)。,5,6,计算问题主要指不确定性的传播与更新，即获得新信息的过程。它是在领域专家给出的规则强度和用户给出的原始证据的不确定性的基础上，定义一组函数，求出结论的不确定性度量。它主要包括如下三个方面：(1)不确定性的传递算法 已知规则的前提E的不确定性C(E)和规则强度f(H,E),求假设H的不确定性C(H),即定义函数f1，使得： C(H)=f1(C(E),f(H，E),7,(2)结论不确定性合成 即已知由两个独立的证据E1和E2,求得的假设H的不确定性度量C1(H)和C2(H)，求证据E1和E2的组合导致的假设H的不确定性C(H)，即定义函数f2，使得： C(H)=f2(C1(H),C2(H)(3)组合证据的不确定性算法 已知证据E1和E2的不确定性度量C(E1)和C(E2)，求证据E1和E2的析取和合取的不确定性，即定义函数f3和f4使得： C(E1E2)=f3(C(E1),C(E2) C(E1E2)=f4(C(E1),C(E2),8,语义问题指上述表示和计算的含义是什么。如C(H,E)可理解为当前提E为真时，对结论H为真的一种影响程度，C(E)可理解为E为真的程度。处理不确定性问题的主要数学工具:概率论模糊数学概率论与模糊数学所研究和处理的是两种不同的不确定性。,概率论研究和处理随机现象，事件本身有明确的含义，只是由于条件不充分，使得在条件和事件之间不能出现决定性的因果关系(随机性)。模糊数学研究和处理模糊现象，概念本身就没有明确的外延，一个对象是否符合这个概念是难以确定的 (属于模糊的)。无论采用什么数学工具和模型，都需要对规则和证据的不确定性给出度量。,4.2 主观贝叶斯方法,9,补充知识：概率论基础,概率论是研究随机现象中数量规律的科学。所谓随机现象是指在相同的条件下重复进行某种实验时，所得实验结果不一定完全相同且不可预知的现象。 众所周知的是掷硬币的实验。人工智能所讨论的不确定性现象，虽然不完全是随机的过程，但是实践证明，采用概率论的思想方法考虑能够得到较好的结果。,10,补充知识：随机事件,随机实验：随机实验是一个可观察结果的人工或自然的过程，其产生的结果可能不止一个，且不能事先确定会产生什么结果。 样本空间：样本空间是一个随机实验的全部可能出现的结果的集合，通常记作，中的点（即一个可能出现的实验结果）成为样本点，通常记作。随机事件：随机事件是一个随机实验的一些可能结果的集合，是样本空间的一个子集。常用大写字母A,B,C,表示。,11,两个事件A与B可能有以下几种特殊关系：包含：若事件B发生则事件A也发生，称“A包含B”，或“B含于A”，记作AB或BA。等价：若AB且BA，即A与B同时发生或同时不发生，则称A与B等价，记作A=B。互斥：若A与B不能同时发生，则称A与B互斥，记作AB=对立：若A与B互斥，且必有一个发生，则称A与B对立，记作或，又称A为B的余事件，或B为A的余事件。任意两个事件不一定会是上述几种关系中的一种。,12,设A，B，A1，A2，An为一些事件，它们有下述的运算：交：记C=“A与B同时发生”，称为事件A与B的交，C=|A且B，记作或。 类似地用来表示事件“n个事件A1, A2, An同时发生”。并：记C=“A与B中至少有一个发生”，称为事件A与B的并，C=|A或B，记作并。 类似地用表示事件“n个事件A1, A2, An中至少有一个发生”。差：记C=“A发生而B不发生”，称为事件A与B的差，C=|A但B，记作差。,13,事件的运算有以下几种性质：交换率： 结合律：分配律：摩根率：事件计算的优先顺序为：求余，交，差和并。,补充知识：概率定义,定义：设为一个随机实验的样本空间，对上的任意事件A，规定一个实数与之对应，记为P(A)，满足以下三条基本性质，称为事件A发生的概率：若二事件AB互斥，即，则以上三条基本规定是符合常识的。,14,定义：设An, n=1, 2, 为一组有限或可列无穷多个事件，两两不相交，且 ，则称事件族An, n=1, 2, 为样本空间的一个完备事件族，又若对任意事件B有BAn=An或, n=1, 2, ，则称An, n=1, 2, 为基本事件族。完备事件族与基本事件族有如下的性质： 定理：若An, n=1, 2, 为一完备事件族，则 ，且对于一事件B有有若An, n=1, 2, 为一基本事件族，则,15,对任意事件A，有必然事件的概率P() =1，不可能事件的概率P() = 0对任意事件A，有设事件A1，A2，An（kn）是两两互不相容的事件，即有，则设A，B是两事件，则,16,定义：设A，B为随机事件且P(A)0，称为事件A已发生的条件下，事件B的条件概率，P(A)在概率推理中称为边缘概率。简称P(B|A)为给定A时B发生的概率。P(AB)称为A与B的联合概率。有联合概率公式：,17,，若 ，则乘法公式：全概率公式：设A1，A2，An互不相交， ，且 ，则对于任意事件A有,18,补充知识：贝叶斯定理,设A，B1，B2，Bn为一些事件，P(A)0，B1，B2，Bn互不相交，P(Bi)0, i=1, 2, , n，且 ，则对于k=1, 2, , n，贝叶斯公式容易由条件概率的定义，乘法公式和全概率公式得到。在贝叶斯公式中，P(Bi), i=1, 2, , n称为先验概率，而P(Bi|A) i=1, 2, , n称为后验概率也是条件概率。,19,补充知识：贝叶斯网络,独立：如果X与Y相互独立，则 P(X,Y) = P(X)P(Y) P(X|Y) = P(X)条件独立：如果在给定Z的条件下，X与Y相互独立，则 P(X|Y, Z) = P(X|Z)实际中，条件独立比完全独立更重要,20,联合概率：P(X1, X2, , XN)二值，则有2N可能的值，其中2N-1个独立。如果相互独立： P(X1, X2, , XN) = P(X1) P(X2) P(XN)条件概率： P(X1, X2, , XN) = P(X1|X2, , XN) P(X2, , XN)迭代表示：P(X1, X2, , XN) = P(X1) P(X2| X1) P(X3| X2X1)P(XN|XN-1, , X1) = P(XN) P(XN-1| XN) P(XN-2| XN-1XN)P(X1|X2, , XN)实际应用中就是利用条件独立性的性质简化网络复杂性的。,21,举例: 道路交通问题 假设你在道路上驾驶，因为交通拥挤，你在慢慢减速。你开始寻找减速的原因。莫非前方道路施工？或者出现交通事故？不过，能确定的是你在不断的减速。 假设有三个参数：S表示交通缓慢（减速）；C表示道路施工；A表示交通事故。有关于该道路的交通统计数据：,根据统计，有交通缓慢S，道路施工C ，交通事故A的联合概率分布，如右表。可以计算当交通不拥堵但前方有道路施工的概率为0.01+0.05=0.06等交通数据处理问题。,22,当你还在寻找减速原因的时候，你发现在隔离墩上摆放有橙色桶开始切断外车道的交通，此时，你能判定是因为前方道路施工导致交通缓慢，而不是交通事故原因。类似地，如果你已经在前方看到闪光灯，可能是警车或救护车发出，在得到新证据后，你能判定出现交通事故了。不过，我们说某个假设是基本可以排除的，并不意味着该假设就完全不可能。确切地说，在发现新证据的背景下，此假设的可能性减少了。,23,所以，道路施工（C）与橙色桶（B）和交通缓慢（T）是有关系的。同样，交通事故（A）与闪光灯（L）和交通缓慢是相关的，如右图。通过分析，构造C和T的联合概率分布表，如右表。如右表，如果道路不施工，那么出现交通缓慢的可能性相对较小（0.1），反之就较大。,道路施工,交通事故,闪光灯,交通缓慢,橙色桶,24,考虑，如果交通缓慢，那么是由道路施工引起的概率有多少？即P(C|T)=?P(C|T)=P(C=t,T=t)/(P(C=t,T=t)+P(C=f,T=t)=0.3/(0.3+0.1)=0.75该道路出现施工的先验概率为0.5。如果知道出现交通缓慢，该道路施工的概率将上升为0.75。由于橙色桶的出现，基本排除交通事故的假设。,道路施工,交通事故,闪光灯,交通缓慢,橙色桶,25,贝叶斯网络（Bayesian Networks）也被称为信念网络（Belif Networks）或者因果网络（Causal Networks） ，又叫概率网络（Probability Network） ，是描述数据变量之间依赖关系的一种图形模式，是一种用来进行推理的模型。贝叶斯网络为人们提供了一种方便的框架结构来表示因果关系，这使得不确定性推理变得在逻辑上更为清晰、可理解性强。,一个贝叶斯网由节点和节点之间的弧组成。每个节点对应一个随机变量，并且具有一个对应该随机变量的概率值（）。如果存在一条从节点到节点的有向弧， 则表明对有直接影响。该影响被条件概率（|）所指定。网络是一个有向无环图（DAG , directed acyclic graph），即图中没有环。节点和节点之间的弧定义了网络的结构，而条件概率是给定结构的参数。,26,Burglary盗贼,Earthquake地震,Li_Calls,Zhang_Calls,Alarm警报,例子,27,试计算：报警器响了，但既没有盗贼闯入，也没有发生地震，同时Zhang和Li都给你打电话的概率。,解： P(Z,L,A,B,E) = P(Z|A)P(L|A)P(A|B,E) P(B) P(E) = 0.9*0.7*0.001*0.999*0.998 = 0.00062 = 0.062%,28,对于贝叶斯网络，我们可以用两种方法来看待它：首先贝叶斯网表达了各个节点间的条件独立关系，我们可以直观的从贝叶斯网当中得出属性间的条件独立以及依赖关系；另外可以认为贝叶斯网用另一种形式表示出了事件的联合概率分布，根据贝叶斯网的网络结构以及条件概率表（CPT）我们可以快速得到每个基本事件（所有属性值的一个组合）的概率。,29,贝叶斯网络因果关系网络,假设：命题S(smoker)：该患者是一个吸烟者命题C(coal Miner)：该患者是一个煤矿矿井工人命题L(lung Cancer)：他患了肺癌命题E(emphysema)：他患了肺气肿由专家给定的假设可知，命题S对命题L和命题E有因果影响，而C对E也有因果影响。,命题之间的关系可以描绘成因果关系网。每一个节点代表一个证据，每一条弧代表一条规则（假设），连接结点的弧表达了有规则给出的，节点间的直接因果关系。,因果关系图例:其中，节点S，C是节点L和E的父节点或称双亲节点，同时，L，E也称为是S和C的子节点或称后代节点。,吸烟者,矿井工人,肺癌,肺气肿,30,贝叶斯网就是一个在弧的连接关系上加入连接强度的因果关系网络 (Causal Network) 。如果A是B的父结点，P(B|A)就是这两个结点的连接强度；如果C也是 B的一个双亲结点，则用联合概率P(B|AC)来描述。当结点没有父结点时，称为顶点。贝叶斯网必须指定顶点的先验概率。,贝叶斯网络图例如右无环图和指定概率值P(A), P(C), P(B|AC), P(E|B), P(B|D), P(F|E), P(G|DEF),31,贝叶斯网是一个有向无环图。如果结点间有反馈回路，从各个方向就可以得到不同的连接权值，而使得最后难以确定。右图是一个有环的网络，不是贝叶斯网。,非贝叶斯网络图例,32,贝叶斯网络的两个部分贝叶斯网络结构图，这是一个有向无环图（DAG: Directed Acyclic Graph），其中图中的每个节点代表相应的变量。当有向弧由节点A指向节点B时，则称：A是B的父节点；B是A的子节点。节点和节点之间的条件概率表（Conditional Probability Table, CPT），也就是一系列的概率值，表示了局部条件概率分布。P(node|parents) 。目的：由证据得出原因发生的概率。 即观察到P(Y)，求P(X|Y),构造贝叶斯网络（1）选择变量，生成节点 （2）从左至右（从上到下），排列节点（3）填充网络连接弧，表示节点之间的关系（4）得到条件概率关系表,33,贝叶斯网络计算,有向非循环图是各个节点变量关系传递的合理表达形式。条件概率的引入使得计算较之全连接网络有了大大的简化。条件概率表（CPT表）相对比较容易得到。 有时可以用某种概率分布表示，需要做的指示计算表示的参数。,简单的联合概率可以直接从网络关系上得到如：P(X, Y) = P(X)P(Y|X)又如：P(X, Y, Z) = P(X)P(Y)P(Z|X, Y),34,条件概率（CPT）表为：P(S) = 0.4P(C) = 0.3P(E|S, C) = 0.9P(E|S, C) = 0.3P(E|S, C) = 0.5P(E|S, C) = 0.1 贝叶斯网络实例图,吸烟者,矿井工人,肺癌,肺气肿,上图例中的联合概率密度为由图可知：E与L在S条件下独立，所以 P(E|S,C,L) P(E|S,C) L与C在S, E条件下独立，所以 P(L|S,C)= P(L|S) C与S在E条件下独立，所以 P(C|S)=P(C),35,贝叶斯网络通常使用因果或诊断规则与推理因果规则：X 导致 Y 的可能性诊断规则 ：Y 是 X 的证据的可能性因果推理：给定导致问题Q的原因 C, 计算 P(Q|C)诊断推理：给定问题Q的证据 E, 计算 P(Q|E),36,例题1,给定患者是一个吸烟者（S），计算他患肺气肿（E）的概率P(E|S)。S称作推理的证据，E叫询问结点。 首先，E的另一个父结点（C），P(E|S)=P(E,C|S)+P(E,C|S);右边的第一项 ，P(E,C|S)P(E,C,S)/P(S)P(E|C,S)*P(C,S)/P(S)P(E|C,S)*P(C|S）同理可得公式的右边的第二项为：P(E,C|S) = P(E|C,S)*P(C)。,由此可得：P(E|S) = P(E| C,S)*P(C)+P(E|C,S)*P(C)如果采用概述中的例题数据，有P(C) = 1 - P(C),则有: P(E|S)0.9*0.3+0.3*(1-0.3)=0.48,37,例题2,试计算“不得肺气肿的不是矿工”的概率P(C |E)。,使用贝叶斯公式有：P(C|E) = P(E|C)*P(C)/ P(E) P(E|C)= P(E,S|C)+ P(E, S|C) = P(E|S,C)*P(S)+ P(E | S, C) )*P(S) =(1-0.3)*0.4+(1-0.1)*(1-0.4)=0.82 P(C|E) = 0.82*(1-0.3)/ P(E)=0.574/ P(E) P(C|E) = P(E|C)*P(C)/ P(E)=0.34*0.3/ P(E)=0.102/ P(E) 由 P(C|E) + P(C|E) =1 得到 P(E)=0.676 故 P(E|C)= 0.849,38,后验概率P征兆（病症），汽车轮子发出刺耳的噪声；Q原因（疾病），汽车刹车失调；后验概率p(Q/P)；,征兆P,原因Q,先验概率p(P),先验概率p(Q),征兆,原因,p(P)=0.04,p(Q)=0.05,p(P/Q)=0.7,=0.88,39,主观Bayes方法先验概率p(P)比先验概率p(Q)更难获得；对Bayes理论进行改进，消去先验概率p(P)；,2,1,40,2,1,41,命题Q的先验几率O(Q)Q成立的先验概率p(Q)和Q不成立的先验概率p(Q)之比,O(Q)随p(Q)增大而增大p(Q)=0,O(Q)=0;p(Q)=1,O(Q)=;,42,命题Q的后验几率O(Q/P)前提P成立情况下,Q成立的后验概率p(Q/P)和Q不成立的后验概率p(Q/P)之比,43,44,命题Q的后验几率O(Q/P)前提P成立情况下,Q成立的后验概率p(Q/P)和Q不成立的后验概率p(Q/P)之比,3,45,命题Q的先验几率O(Q)；命题Q的后验几率O(Q/P)；LS推理规则PQ成立的充分性因子；表示P成立对Q成立的影响力；公式称为Bayes公式的几率似然形式,3,46,命题Q的后验几率O(Q/P)前提P不成立情况下,Q成立的后验概率p(Q/P)和Q不成立的后验概率p(Q/P)之比,4,47,LS推理规则PQ成立的充分性因子； LN推理规则PQ成立的必要性因子； ,3,4,48,LS充分性因子=1:O(Q/P)=O(Q)，P对Q无影响；1:O(Q/P)O(Q)，P支持Q；1:O(Q/P)O(Q)，P支持Q；1:O(Q/P)O(Q)， P不支持Q；,3,4,49,LS推理规则PQ成立的充分性因子；表示P成立对Q成立的影响力；LN推理规则PQ成立的必要性因子；表示P不成立对Q成立的影响力；,3,4,50,基于专家主观估计的LS（和LN）而演算出来的后验概率p(Q/P)称为主观概率；上述推算主观概率的方法称为主观Bayes方法；,3,4,51,P征兆，汽车轮子发出刺耳的噪声；Q原因，汽车刹车失调；,征兆P,原因Q,先验概率p(Q),p(Q)=0.05,先验几率O(Q)=P(Q)/P(Q)=0.053,LS=120,LN=0.3,O(Q/P)=6.4,O(Q/P)=0.016,52,2022/12/30,征兆P,原因Q,O(Q/P)=6.4,O(Q/P)=0.016,p(Q/P)=0.87,p(Q/P)=0.016,P征兆，汽车轮子发出刺耳的噪声；Q原因，汽车刹车失调；,53,征兆P,原因Q,p(Q/P)=0.87,p(Q)=0.05,LS=120,p(P)=0.04,p(Q)=0.05,p(P/Q)=0.7,p(Q/P)=0.88,主观Bayes方法,Bayes公式,P征兆，汽车轮子发出刺耳的噪声；Q原因，汽车刹车失调；,54,例题1,对于规则PQ，已知p(Q)=0.04，LS=100，LN=0.4，请应用主观Bayes方法求出p(Q/P)和p(Q/P),例题2,对于规则PQ，已知p(Q)=0.04，LS=100，LN=0.4，请应用主观Bayes方法求出p(Q/P)和p(Q/P),55,56,知识储备,概率公式：加法原理：事件A和事件B不相容,A,B,57,B,乘法原理：,A,-扩展形式,B,C,A,58,(3)不确定性的推理（P P Q） 前提（即导致结论的证据）的不确定性可以设想为与另一事件P有关：给出后验概率p(P/P)；推算出证据P相对于结论Q的后验概率p(Q/P)；,加法定理（事件不相容）,乘法定理的扩展,59,不确定性的推理（P P Q）前提（即导致结论的证据）的不确定性可以设想为与另一事件P有关：给出后验概率p(P/P)；推算出相对于结论Q的后验概率p(Q/P)；P是通过P去影响Q，且P已是成立或不成立忽略P ；,5,6,3,4,60,不确定性的推理（P P Q）前提（即导致结论的证据）的不确定性可以设想为与另一事件P有关：给出后验概率p(P/P)；推算出相对于结论Q的后验概率p(Q/P)；,6,3,4,61,例题 汽车刹车失调问题,P征兆，汽车轮子发出刺耳的噪声；Q原因，汽车刹车失调；,征兆P,原因Q,p(Q/P)=0.86,p(Q)=0.05,LS=120,主观Bayes方法,LN=0.3,p(Q/P)=0.016,3,4,62,63,例2、汽车刹车失调问题P征兆，汽车轮子发出刺耳的噪声；Q原因，汽车刹车失调；,征兆P,原因Q,p(Q/P)=0.87,p(Q/P)=0.016,p(P/P)=0.8,6,p(P/P)=0.2,不确定性的推理（P P Q）前提（即导致结论的证据）的不确定性可以设想为与另一事件P有关：给出后验概率p(P/P)；推算出相对于结论Q的后验概率p(Q/P)；,6,64,6,6,p(Q/P),p(Q),LS,主观Bayes方法,LN,p(Q/P),65,6,主观Bayes方法,66,为了避免这种不一致性，主观Bayes方法采用分段线性插值的手段：,67,68,不确定性的推理为了避免这种不一致性，主观Bayes方法采用分段线性插值的手段： ,69,已知：R1:IF E1 THEN (65,0.01) H其中，P(E1|S1)=0.5，P(H)=0.01，P(E1)=0.1求：P(H|S1)因为，P(E1|S1)=0.5 P(E1)=0.1 则,70,71,不确定性的组合常常会出现多个相互独立的前提Pi支持同一结论Q的情况，表示为：,72,多个相互独立的前提Pi,73,例题,已知：R1:IF E1 THEN (65,0.01) HR2:IF E2 THEN (300,0.0001) H其中，P(H)=0.01P(E1|S1)=0.5， P(E2|S2)=0.02，P(E1)=0.1，P(E2)=0.03求：P(H|S1S2),74,因为，P(E1|S1)=0.5 P(E1)=0.1 则,75,因为，P(E1|S1)=0.5 P(E1)=0.1 则,77,因为，P(E2|S2)=0.02 P(E2)=0.03 则,因为，P(E2|S2)=0.02 P(E2)=0.03 则,79,练习 设有规则 R1: If E1 Then (20,l) H R2: If E2 Then (300,l) H已知证据E1和E2必然发生，并且P(H)=0.03，求H的后验概率 。解:因为P(H)=0.03，则 O(H)=0.03/(1-0.03)=0.030927 根据R1有: O(H|E1)=LS1O(H)=200.030927=0.6185 根据R2有： O(H|E2)=LS2O(H)=3000.030927=9.2781,81,设有规则 R1: If E1 Then (20,l) H R2: If E2 Then (300,l) H已知证据E1和E2必然发生，并且P(H)=0.03，求H的后验概率 。解:因为P(H)=0.03，则 O(H)=0.03/(1-0.03)=0.030927 根据R1有: O(H|E1)=LS1O(H)=200.030927=0.6185 根据R2有： O(H|E2)=LS2O(H)=3000.030927=9.2781,练习,P(HE1E2),82,那么 =0.61859.2781/0.030927=185.55所以H的后验概率为,P(HE1E2),=185.55/(1185.55)=0.99464,83,Q & A,