逻辑推理-人工智能.ppt

《逻辑推理-人工智能.ppt》由会员分享，可在线阅读，更多相关《逻辑推理-人工智能.ppt（93页珍藏版）》请在三一办公上搜索。

1、人工智能,不确定性推理（1）,不确定性,不确定环境下的行动概率公理使用全概率分布进行推理独立性贝叶斯法则及其应用,不确定性（Uncertainty）,定义行动 At=航班起飞前 t 分钟启程前往机场；问：At 能不能及时使agent赶上飞机？A180 是一个可靠的行动，如果所选路线上没有交通事故、没有交通管制、汽车没有出故障、没有沙尘暴，等等，等等。(A1440 或许是个一定不会耽误飞机的计划，不过要在机场过夜)逻辑方法使得Agent在得到关于环境的足够多事实时，使得行动计划得到保证。但是，没有任何agent能够获得关于其环境的全部事实。,FOL与不确定性,FOL能够处理不确定性吗？医学专家系

2、统：p Symptom(p,Toothache)Disease(p,Cavity)?引起牙痛的原因：牙洞？穷举牙洞与牙痛有必然联系吗？失败的原因：懒惰(laziness):failure to enumerate exceptions,qualifications,etc.无知(ignorance):lack of relevant facts,initial conditions,etc.,不确定环境下的决策,基本思想：精确度和有效性的折中理性决策的含义既依赖于各种目标的相对重要性，也依赖于这些目标将被实现的可能性（程度）。假设A180理性决策，这意味着在给定所处的环境信息下，它是所有可执行

3、的规划中智能体的性能度量期望达到最大的那个。性能度量：及时赶上飞机、等待时间不长，,不确定环境下的决策,例如：给出行动及其成功的概率如下:P(A25 gets me there on time|)=0.04 P(A90 gets me there on time|)=0.70 P(A120 gets me there on time|)=0.95 P(A1440 gets me there on time|)=0.9999 该选哪一个行动?例如，取决于成功的几率以及等待时间的折中。必须考虑效用理论（Utility theory）决策论概率论效用论Decision theory=probabil

4、ity theory+utility theory,不确定性,不确定环境下的行动概率公理使用全概率分布进行推理独立性贝叶斯法则及其应用,概率理论（Probability theory）,Agent的知识提供的最多是关于语句的信度（degree of belief）。概率论可以处理我们的惰性和无知。概率是宇宙的真实方面：它是物体的行为表现为特定方式的倾向，而不仅仅是对观察者信心的描述。概率与证据：在评估语句的概率时，必须指出有关证据。Agent获得新的信息后，其概率评估应该更新。先验概率、后验概率,先验概率,与命题a相关的无条件概率，在没有任何其它信息存在的情况下，关于命题的信度，记为：P（a）

5、。例如，用P（weather）表示天气的概率：P（weather sunny）0.7P（weather rain）0.2P（weather cloudy）0.08P（weather snow）0.02先验概率分布：P（weather）联合概率分布，全联合概率分布概率密度函数,后验（条件）概率,得到与命题a相关的变量的证据，先验概率失效，需要以后验概率替代，记为：P（a|b）例如：P（cavity|toothache）0.7乘法规则：P（a b）P（b|a）P（a）,概率公理（Axioms of probability）,对任意命题 A,B:0 P(A)1P(true)=1，P(false)=0

6、P(A B)=P(A)+P(B)-P(A B),Kolmogorov公理,不确定性,不确定环境下的行动概率公理使用全概率分布进行推理独立性贝叶斯法则及其应用,联合概率分布,联合概率分布（joint probability distribution）:表中catch是指由于牙医的钢探针不洁而导致的牙龈感染对任何命题,其概率是所有原子证据事件概率的和：P()=:P(),联合概率分布（枚举）,Start with the joint probability distribution:For any proposition,sum the atomic events where it is true:

7、P()=:P()P(toothache)=0.108+0.012+0.016+0.064=0.2,Start with the joint probability distribution,Can also compute conditional probabilities:P(cavity|toothache)=P(cavity toothache)P(toothache)=0.016+0.064 0.108+0.012+0.016+0.064=0.4,联合概率分布（枚举）,归一化（Normalization）,(Denominator)-1 normalization constant P

8、(Cavity|toothache)=P(Cavity,toothache)=P(Cavity,toothache,catch)+P(Cavity,toothache,catch)=+=General idea:compute distribution on query variable by fixing evidence variables and summing over hidden variables.,不确定性,不确定环境下的行动概率公理使用全概率分布进行推理独立性贝叶斯法则及其应用,独立性（Independence）,A 与 B 独立，当且仅当P(A|B)=P(A)or P(B|

9、A)=P(B)or P(A,B)=P(A)P(B)例如：P(Toothache,Catch,Cavity,Weather)=P(Toothache,Catch,Cavity)P(Weather)32 entries reduced to 12(weather has 4 possible values);for n independent biased coins,O(2n)O(n)绝对独立很好但很少见，例如牙科中可能涉及几百相互关联的变量，这时候如何处理？,条件独立（Conditional independence）,已知有一个牙洞，钻具感染与牙疼的概率相互独立：钻具感染与牙痛在给定牙洞的情

10、况下是条件独立的conditionally independent P(Toothache,Catch|Cavity)=P(Toothache|Cavity)P(Catch|Cavity),条件独立,推导联合分布，将全联合分布分解成很多更小的分布:P(Toothache,Catch,Cavity)=P(Toothache,Catch|Cavity)P(Cavity)乘法法则=P(Toothache|Cavity)P(Catch|Cavity)P(Cavity)条件独立I.e.,2+2+1=5 independent numbers条件分布将联合分布的表示空间由指数级降到线性。条件概率是处理不确

11、定信息的基础和最鲁棒的形式。,不确定性,不确定环境下的行动概率公理使用全概率分布进行推理独立性贝叶斯法则及其应用,贝叶斯法则（Bayes Rule）,由乘法法则 P(ab)=P(a|b)P(b)=P(b|a)P(a)Bayes rule:P(a|b)=P(b|a)P(a)/P(b)一般形式：P(Y|X)=P(X|Y)P(Y)/P(X)=P(X|Y)P(Y)例子：用于从病因（causal）中找到诊断（diagnostic）结论:P(Cause|Effect)=P(Effect|Cause)P(Cause)/P(Effect)E.g.,let M be meningitis,S be stiff

12、neck:P(m|s)=P(s|m)P(m)/P(s)=0.8 0.0001/0.1=0.0008,贝叶斯法则与条件独立,P(Cavity|toothache catch)=P(toothache catch|Cavity)P(Cavity)=P(toothache|Cavity)P(catch|Cavity)P(Cavity)This is an example of a nave Bayes（朴素贝叶斯）model:P(Cause,Effect1,Effectn)=P(Cause)iP(Effecti|Cause)Total number of parameters is linear i

13、n n,贝叶斯网络,1 贝叶斯网络概述2 贝叶斯网络的语义3 贝叶斯网络中的精确推理4 贝叶斯网络的近似推理,概率公式,条件概率公式,乘法公式,全概率公式,边缘化与条件化,联合概率分布边缘化（求和消元）P(toothache)=0.108+0.012+0.016+0.064=0.2条件化：,贝叶斯法则,由乘法法则 P(ab)=P(a|b)P(b)=P(b|a)P(a)Bayes rule:P(a|b)=P(b|a)P(a)/P(b)一般形式：更通用版本（条件化）：,贝叶斯网络的由来,随机方法？每个状态值取决于前面有限个状态，如Markov链。在现实生活中，很多事物相互的关系并不能用一条链来串起

14、来；它们之间的关系可能是交叉的、错综复杂的。如疾病的起因，故障的原因等。,贝叶斯网络的由来,全联合概率计算复杂性十分巨大；变量之间的独立性和条件独立性能大大减少为了定义全联合概率分布所需的概率数目。需要一种自然、有效的方式来根据不确定性知识推理贝叶斯网络；,贝叶斯网络的定义,贝叶斯网络(Bayesian network)是一个有向图，其中每个节点都标注了定量概率信息：一个随机变量集合组成网络节点，变量可以是离散的或者连续的；一个连接节点对的有向边或者箭头的集合，如果存在从节点X指向节点Y的有向边，则称X是Y的一个父节点；每个节点都存在一个条件概率分布P(Xi|Parent(Xi)，量化父节点对

15、该节点的影响；图中不存在有向环(是有向无环图DAG)。,简单例子,表示前例中条件独立的拓扑网络:Weather is independent of the other variablesToothache and Catch are conditionally independent given Cavity,贝叶斯网络的表示 防盗网,条件概率表,每个节点旁的条件概率表(简称CPT)中的值对应一个条件事件的概率如P(A)=0.94=P(A|BurglaryEarthquake)；条件事件是父节点取值的一个可能组合；每行的概率之和应为1(表中只给出了为真的情况，为假的概率应为1-p)；一个具有k

16、个布尔父节点的布尔变量的条件概率表中有2k个独立的可指定的概率(注意概率值是独立的)；没有父节点的节点的概率只有1行，为先验概率。,0.700.01,t f,P(M),A,贝叶斯网络的概率解释,任何完整的概率模型必须具有表示（直接或间接）该领域变量联合分布的能力，完全的枚举需要指数级的规模（相对于领域变量个数）；贝叶斯网络提供了这种联合概率分布的紧凑表示：分解联合分布为几个局部分布的乘积：,贝叶斯网络的概率解释,从公式可以看出，需要的参数个数随网络中节点个数呈线性增长，而联合分布的计算呈指数增长。网络中变量间独立性的指定是实现紧凑表示的关键。独立性在通过人类专家构造贝叶斯网中特别有效。,贝叶斯

17、网络,1 贝叶斯网络概述2 贝叶斯网络的语义3 贝叶斯网络中的精确推理4 贝叶斯网络的近似推理,贝叶斯网络的语义,贝叶斯网络给出了关于相关事件的完整描述，通过计算全联合概率分布求取联合分布中的某项是对每个变量赋予一个特定值情况下的合取概率就是条件概率表中适当元素的乘积例子 P(jmabe)=P(j|a)P(m|a)P(a|be)P(b)P(e)=0.90*0.70*0.001*0.999*0.998=0.00062,一种贝叶斯网络构建方法,乘法规则：P(x1,x2,xn)=P(xn|xn-1,x1,)P(xn-1,x1,)链式法则(chain rule)：P(Xi|Xi-1,X1)=P(Xi|

18、Parent(Xi)Parent(Xi)Xi-1,X1初始的合取概率化为更小的条件概率和更小的合取式 这些条件概率的合取式实际上就是父节点到子节点的概率乘积。父子节点的关系使得贝叶斯网络具有局部结构化的特性，即每个节点只和数量有限的其它部分产生直接的相互作用,贝叶斯网络的构造 防盗网,Burglary,Earthquake,MaryCalls,JohnCalls,Alarm,P(m|j,a,b,e)=P(m|a),紧致性与节点顺序,贝叶斯网络的局部结构化（locally structed）每个随机变量可以至多受到k个其它随机变量的影响(k=常数)；设网络中有n个节点(随机变量)，指定每个条件概

19、率表所需信息量至多为2k个数据，则整个网络可以用n2k个数据完全描述/而全联合概率分布需要2n个数据.比较：n=30,k=5.构造贝叶斯网络的次序：添加节点首先从“根本原因”开始，然后加入受其直接影响的变量，直到叶节点(不影响任何其它节点)。,Suppose we choose the ordering M,J,A,B,EP(J|M)=P(J)?,Example,Suppose we choose the ordering M,J,A,B,EP(J|M)=P(J)?NoP(A|J,M)=P(A|J)?P(A|J,M)=P(A)?,Example,Suppose we choose the or

20、dering M,J,A,B,EP(J|M)=P(J)?NoP(A|J,M)=P(A|J)?P(A|J,M)=P(A)?NoP(B|A,J,M)=P(B|A)?P(B|A,J,M)=P(B)?,Example,Suppose we choose the ordering M,J,A,B,EP(B|A,J,M)=P(B|A)?Yes(JohnCalls and MaryCalls increase the chance of alarm.)P(B|A,J,M)=P(B)?NoP(E|B,A,J,M)=P(E|B)?P(E|B,A,J,M)=P(E|A,B)?,Example,Suppose we

21、 choose the ordering M,J,A,B,EP(J|M)=P(J)?No P(A|J,M)=P(A|J)?P(A|J,M)=P(A)?NoP(B|A,J,M)=P(B|A)?YesP(B|A,J,M)=P(B)?NoP(E|B,A,J,M)=P(E|B)?NoP(E|B,A,J,M)=P(E|B,A)?Yes(P(E|B,A)P(E|A)P(E|B,A,J,M)=P(E|A)?No,Example,Example contd.,Network is less compact:1+2+4+2+4=13 numbers neededDeciding conditional inde

22、pendence is hard in noncausal directions(Causal models and conditional independence seem hardwired for humans!),条件独立关系,贝叶斯网络中节点相互独立(下面两个定义等价)：(1)给定父节点，一个节点与它的非后代节点是条件独立的；(2)给定一个节点的父节点、子节点以及子节点的父节点(Markov blanket)，这个节点对于其它节点都是条件独立的。图示，例子,条件独立关系图示,给定父节点，一个节点与它的非后代节点是条件独立的JohnCall,给定一个节点的父节点、子节点以及子节点的父

23、节点，这个节点对于其它节点都是条件独立的。Burglary,条件分布的有效表达：noisy-OR,贝叶斯网络中尽管父节点个数k很小，但是要完成条件概率表仍需要O(2k)数据；如果找到了变量依赖的某种关系，则可以用O(k)个参数完成条件概率表噪声或(noisy-OR)关系用于刻画不确定关系(逻辑或的推广)；噪声或关系考虑到每个父节点引起子节点为真的能力的不确定性:父节点条件为真但子节点的结果未必为真。,噪声或关系（1）,例子：发烧(fever)为真，当且仅当以下三者之一为真：感冒(cold)/流感(flu)/疟疾(malaria)但是可能病人得了以上疾病却没有发烧症状这就是父节点为真其子节点未必

24、真的不确定性即父子关系被抑制此时可以认为：fever为假当且仅当所有为真的父节点被抑制，其概率为每个父节点被抑制的概率的乘积两条假设所有原因已经列出每个父节点的抑制独立于其他父节点的抑制,噪声或关系（2）,假设每个单独抑制的概率如下 P(fever|cold,flu,malaria)=0.6P(fever|cold,flu,malaria)=0.2P(fever|cold,flu,malaria)=0.1目的：为建立一个完整的条件概率表，大大减少所需参数，如：P(fever|cold,flu,malaria)=0.2*0.1=0.02 P(fever|cold,flu,malaria)=0.6

25、*0.2*0.1=0.012 P(fever|cold,flu,malaria)=1-0.012=0.988,噪声或关系（3）,448节点，906边8254个数据，而不是133,931,430,贝叶斯网络,1 贝叶斯概率基础2 贝叶斯网络的表示3 贝叶斯网络中的精确推理4 贝叶斯网络的近似推理,贝叶斯网络中的精确推理,基本任务是计算被查询变量的后验概率：设X为待查询变量，e为观察到的证据，E=E1Em证据变量集合，Y=Y1Yn非证据变量集合(也称隐变量)全部变量集合=XEY推理的任务是：求后验概率P(X|e)实际上，根据边缘化规则可得 P(X|e)=P(X,e)=yP(X,e,y),查询实例（

26、1）,回答查询：在贝叶斯网络中计算条件概率的乘积并求和。以防盗警报为例，求P(B|J=T,M=F)证据JohnCalls=True/MaryCalls=False查询变量Burglary=True隐含变量Earthquake/Alarm用首字母简化式有：P(b|j,m)=P(b,j,m)=EAP(b,E,A,j,m),查询实例（2）,进一步代入条件概率：P(b|j,m)=EAP(b)P(E)P(A|b,e)P(j|A)P(m|A)上式最坏复杂度O(n2n)，将相对常数移到求和符号以外：P(b|j,m)=P(b)EP(E)AP(A|b,E)P(j|A)P(m|A)计算过程(遍历A=a/a和E=e

27、/e)P(j|a)=0.90P(m|a)=0.30P(j|a)=0.05P(m|a)=0.99P(a|b,e)=0.95P(a|b,e)=0.05P(a|b,e)=0.94 P(a|b,e)=0.06,查询实例（3）,乘积求和过程：EP(E)AP(A|b,E)P(j|A)P(m|A),=P(e)*AP(A|b,e)P(j|A)P(m|A)+P(e)*AP(A|b,e)P(j|A)P(m|A),=P(e)*P(a|b,e)*P(j|a)*P(m|a)+P(a|b,e)*P(j|a)*P(m|a)+P(e)*P(a|b,e)*P(j|a)*P(m|a)+P(a|b,e)*P(j|a)*P(m|a)

28、,=0.002*0.95*0.90*0.30+0.05*0.05*0.99+0.998*0.94*0.90*0.30+0.06*0.05*0.99,=0.002*0.2565+0.0025+0.998*0.2538+0.0030=0.002*0.2590+0.998*0.2568=0.2568,查询实例（4）,相应地有：P(b|j,m)=P(b)*0.2568=0.001*0.2568=*0.0002568类似地有：P(b|j,m)=*P(b)EP(E)AP(A|b,E)P(j|A)P(m|A)=*P(b)*0.002*(0.0783+0.0351)+0.998*(0.0003+0.0495)

29、=*0.999*0.0499=*0.0499归一化以后有：P(B|j,m)=只有John打电话而出现盗贼的概率小于1/100,计算P(B|j,m)的枚举树,变量消元法（1）,在计算中我们发现P(j|a)*P(m|a)和P(j|a)*P(m|a)重复计算了两次，如何消除重复？只要保留一次计算结果既可。按照从右到左的次序计算。例子：,例子：,对M和J，用二元向量表示保存每个给定的a下的概率：A的因子P(a|B,e)是一个 2 x 2 x 2 的矩阵f A(A,B,E).首先对A求和消去，得到一个只有B和E的2 x 2 的矩阵：A上加一横表示已经通过求和消去。,使用乘法的过程称为点积(pointwi

30、se product),例子：,对E求和消去：最后，可以简单的将B的因子与上述累积矩阵相乘来计算答案：,点积（pointwise product）,变量消元法（2）,在这样的计算中只要做：计算两个因子的点积在因子乘积中对一个变量求和消元在计算中，消除以下无关节点：删除不是查询变量也非证据变量的叶节点删除所有不是查询变量，祖先也不是证据变量的节点P(JohnCalls l Burglary=true).,精确推理的复杂度,单连通结构贝叶斯网络中任何两个节点都至多只有一条无向路径相连；此时，单连通上的精确推理的时间和空间复杂度都和网络规模呈线性关系；而对于多连通结构(见下图)，最坏情况下变量消元法

31、可能具有指数级的时空复杂度此时贝叶斯网络的推理是一个NP问题；所以要寻找多连通网络中的近似算法。,多连通网络,贝叶斯网络,1 贝叶斯概率基础2 贝叶斯网络的表示3 贝叶斯网络中的精确推理4 贝叶斯网络的近似推理,贝叶斯网络的近似推理,大规模多连通网络的精确推理是不可操作的，所以要考虑近似的推理方法.采用随机采样方法，也称蒙特卡罗算法(Monte Carlo algorithm)：给出近似解答，近似的精度依赖于所生成采样点的多少。例如：求积分。此处近似的含义：不是通过计算求出网络中某个点的条件概率(因为复杂度高)，而是对该事件进行采样而获得概率,后验概率计算的采样方法,有两类采样方法直接采样方法

32、：计算样本的频率马尔科夫链采样方法：根据马尔科夫覆盖中的变量当前值来采样直接采样方法依据已知概率来生成样本拒绝采样算法/似然加权算法马尔科夫链采样方法证据变量概率固定条件下随机生成样本,采样方法的要素,任何采样算法中最基本的要素是根据已知概率分布生成样本。例如：一个无偏差的硬币是一个随机变量Coin，其可能取值为.先验概率是P(Coin)=.,直接采样方法,直接采样方法是按照拓扑结构次序依次对每个变量进行采样，被采样变量值的概率分布依赖于父节点已取得的赋值。具体实现：,采样样本与概率分布,样本的向量表示cloudy,sprinkler,rain,wetGrass F/T或者0/1表示为假或为真

33、/如T,F,T,T采样按照已知概率分布进行，但不是等于这个概率分布值，而是说分布与之相符cloudy=0.5,0.5/第1次采样49/51，第2次采样52/48如此等等每次采样应该在一定的条件下(这就是条件概率)进行，不满足条件的样本不再考虑,采样过程举例（1）,通过例子说明采样过程/算法均省略(1)因为P(cloudy)=,故cloudy的采样样本T/F各占50%，假设(不妨)返回T(2)P(sprinkler|cloudy=T)=，故sprinkler的采样样本T/F各占10%和90%，应该返回F（注意：此时采样样本均为形式，其中占10%，占90%）(3)P(rain|cloudy=T)=

34、，故rain的采样样本T/F各占80%和20%,应该返回T/样本形式类似于(2),采样过程举例（2）,(4)P(wetGrass|sprinkler=F,rain=T)=，则返回T/采样样本形式占90%，占10%实际上如此生成的样本完全符合先验概率，即对于上例，cloudy sprinkler rain wetGrass=T F T T=0.5*0.9*0.8*0.9=0.324,拒绝采样方法,从已知分布的采样出发(其计算如上)，通过去掉不满足证据条件的样本来计算(估计)那些未知分布的事件的概率例子：P(Rain|Sprinkler=T)未知其概率 采样100个样本：其中73个为，不满足前提条

35、件余下的27个中8个为rain=T/19个为rain=FP(Rain|Sprinkler=T)=拒绝采样方法的最大问题就是效率比较低(相当一部分样本被拒绝了),一致的估计,拒绝采样方法能产生真实概率的一致估计估计的概率在无限多(大量样本的极限)条件下成为精确值，这样的估计称为一致的(consistent)，即,似然加权方法（1）,只生成与证据e一致的事件，避免拒绝采样的低效率。对证据节点的概率进行似然加权，即按照先验概率的乘积进行计算/对非证据节点进行采样，采样样本服从先验概率分布例子：求P(rain|sprinkler=T,wetGrass=T)的概率采样过程如下：(1)权值w=1.0(2)

36、P(cloudy)=，据此采样，返回T(3)Sprinkler是证据变量，取值T，则ww*P(sprinkler=T|cloudy=T)=1.0*0.1=0.1,似然加权方法（2）,(4)P(rain|cloudy=T)=，据此进行采样，假设=T(5)wetGrass是证据变量，取值T，则有ww*P(wetGrass=T|sprinkler=T,rain=T)=0.1*0.99=0.099此即cloudy sprinkler rain wetGrass=T T T T=0.099.解释：sprinkler=T&wetGrass=T条件下rain=T的概率很低似然加权方法也得到对于真实概率的一致

37、估计从采样与加权的乘积去理解联合分布概率的计算，依然是全部条件概率的乘积.,小权值的样本占到大多数,马尔科夫链采样（1）,直接采样法按照先验概率去采样马尔科夫链采样对证据变量以外的变量每次随机地采样举例：考虑求P(rain|sprinkler=T,wetGrass=T)证据变量固定：sprinkler=T/wetGrass=T隐变量cloudy/rain则随机采样：初始值不妨假设cloudy=T/rain=F初始状态=,证据变量固定下，状态空间内的随机走动,马尔科夫链采样（2）,然后反复按照以下2个步骤采样(1)当前条件下对cloudy随机采样，结果=(2)当前条件下对rain随机采样，结果=

38、最后得到若干样本，例如rain=T=20/rain=F=60，则P(rain|sprinkler=T,wetGrass=T)=,马尔科夫链采样的合理性（1）,马尔科夫链采样过程最终会进入“动态平衡”状态被采样变量服从马尔科夫覆盖下的条件概率分布，且“稳态分布”=真实后验概率P(x|e)我们所需要求解的正是给定证据变量e下某个变量的概率值P(x|e)证明过程：转移概率状态x到状态xq(xx)时刻t处于状态x的概率t(x),马尔科夫链采样的合理性（2）,下一时刻处于状态x的概率 t+1(x)=xt(x)q(xx)稳态分布(stationary distribution)：当t+1(x)=t(x)时

39、，马尔科夫链达到稳态分布，即(省略t)(x)=x(x)q(xx)对于所有x细致平衡任意两个状态间沿两个方向转换概率相等(x)q(xx)=(x)q(xx)对于所有x,x简单公式推导(求和)可证明细致平衡中蕴含着稳态分布,几点总结,贝叶斯网络的特点：双向推理能力（预测和诊断）快速的调试和重构能力具有较强的概率统计基础用于人工智能和专家系统的不确定推理（优于早期的基于规则的模式）。这种网络支持任何变量子集相对于另一子集的条件概率计算。贝叶斯网络是域中变量关系的直接表示，而不是推理过程。网络中的方向表示变量间真正的因果关系而不是推理过程的信息流向。因此在贝叶斯推理过程中，推理过程可以沿任何方向进行（预

40、测、诊断、解释）。,BN定性描述,贝叶斯网络中每个圆圈表示一个状态。状态之间的连线表示它们的因果关系。和马尔可夫链类似，贝叶斯网络中的每个状态值取决于前面有限个状态。不同的是，贝叶斯网络比马尔可夫链灵活，它不受马尔可夫链的链状结构的约束，因此可以更准确地描述事件之间的相关性。可以讲，马尔可夫链是贝叶斯网络的特例，而贝叶斯网络是马尔可夫链的推广。,发展历史（1）,贝叶斯（Reverend Thomas Bayes 1702-1761）学派奠基性的工作是贝叶斯的论文“关于几率性问题求解的评论”。著名的数学家拉普拉斯（Laplace P.S.1749-1827）用贝叶斯的方法导出了重要的“相继律”，

41、贝叶斯的方法和理论逐渐被人理解和重视起来。但由于当时贝叶斯方法在理论和实际应用中还存在很多不完善的地方，因而在十九世纪并未被普遍接受。,发展历史（2）,二十世纪初，意大利的菲纳特（B.de Finetti）以及英国的杰弗莱（Jeffreys H.）都对贝叶斯学派的理论作出重要的贡献。第二次世界大战后，瓦尔德（Wald A.）提出了统计的决策理论，在这一理论中，贝叶斯解占有重要的地位；信息论的发展也对贝叶斯学派做出了新的贡献。1958年英国最悠久的统计杂志Biometrika全文重新刊登了贝叶斯的论文，20世纪50年代，以罗宾斯（Robbins H.）为代表，提出了经验贝叶斯方法和经典方法相结合

42、，引起统计界的广泛注意，这一方法很快就显示出它的优点，成为很活跃的一个方向。,发展历史（3）,1986 Pearl 将贝叶斯网络引入了专家系统(were revived and reintroduced to expert systems).1988 Lauritzen&Spiegelhalter 提出了贝叶斯高效算法(tractable calculations).1995In Windows95 for printer-trouble shooting and Office assistance(“the paper clip”).1999BN is getting more and mo

43、re used.Ex.Gene expression analysis,Business strategy etc.2000Widely used-a BN tool will be shipped with every Windows Commercial Server.,贝叶斯网络的别名,信念网(Belief Network)概率网络(Probability Network)因果网络(Causal Network)知识图(Knowledge Map)图模型(Graphical Model)或概率图模型(PGM)决策网络(Decision Network)影响图(Influence Diag

44、ram),Bayes 网络应用举例,贝叶斯理论是处理不确定性信息的重要工具。作为一种基于概率的不确定性推理方法，贝叶斯网络在处理不确定信息的智能化系统中已得到了重要的应用，已成功地用于医疗诊断、统计决策、专家系统等领域。,医疗诊断文本理解数据挖掘,智能决策数据融合模式识别,例子：汽车故障诊断,某发动机在使用过程中出现冷车起动不能着火的故障(环境温度为 2025)，而且是批量性的。经过多名训练有素及富有维修经验的老师傅进行现场维修，更换了大量的有关部件和零件，多日没有找到问题的根源。利用故障诊断仪进行静态和动态检测，检测数据显示一切正常，没有发现故障的根源。对此类问题，尝试运用贝叶斯诊断方法解决

45、。,假设发动机在2025温度下冷车起动困难为父节点，其关联子节点分别为燃油质量、火花塞、水温传感器、燃油压力调节器、燃油泵电路、油管、气缸压缩压力、开关状态信号电路、点火信号电路、进气温度传感器电路、点火线圈、喷油器和发动机ECU等。在贝叶斯图的基础上也可以这样理解：诊断对象是发动机在2025温度下冷车起动困难；其故障由燃油质量差、供油系压力不够、气缸压缩不良、开关状态信号电路短路或断路所组成；其故障表现为燃油质量、火花塞、水温传感器、燃油压力调节器、燃油泵电路、油管、气缸压缩压力、开关状态信号电路、点火信号电路、进气温度传感器电路、点火线圈、喷油器和发动机ECU等工况不良。,在建立贝叶斯诊断图的基础上通常可按以下步骤进行故障排除：排除燃油品质对发动机起动的影响；用气缸压力表检测气缸工作压力；用故障诊断仪检测开关状态信号、水温传感器、进气温度传感器；用压力表检测燃油管路的油压，排除燃油管路的可能性；运用对比法更换及检查火花塞、控制线束、点火线圈，排除点火系统对起动的影响；如果可以排除以上故障，则对喷油器进行检测，这样就可以认定故障原因是冷车起动时喷油控制时间有问题。,