人工智能原理不精确推理.ppt
《人工智能原理不精确推理.ppt》由会员分享,可在线阅读,更多相关《人工智能原理不精确推理.ppt(108页珍藏版)》请在三一办公上搜索。
1、人工智能原理第7章 不精确推理,本章内容7.1 不精确推理的必要性7.2 贝叶斯概率推理7.3 贝叶斯网络7.4 可信度方法*7.5 模糊推理参考书目,第7章 不精确推理,7.1 不精确推理的必要性不精确推理的原因/方法,第7章 不精确推理,4,为什么要不精确推理,做不精确推理的原因有多种:推理所需的信息不完备:竞争双方不知道对方信息背景知识不足:疑难病症的机理多种原因导致同一结果:疾病的诊断信息描述模糊:目击者对嫌疑犯的描述信息中含有噪声:做假帐,虚假统计报表,采集数据当中的噪声(雷达、声纳/化验)等,第7章 不精确推理,5,不精确推理的原因,规则是模糊的:定性描述,如“如果刑事犯罪猖獗,就
2、应加大打击力度”等推理能力不足:天气预报的计算解决方案不唯一:多个方案如何选优的问题两种不确定性环境的不确定性智能体几乎从来无法了解关于其环境的全部事实反映环境的知识的不确定性过于复杂而无组织知识粥(knowledge soup),第7章 不精确推理,6,不确定环境下的智能体行动,从智能体角度看,他不得不在不确定的环境下行动克服这种不确定性的解决方案1)条件规划2)使用简单而不完全正确的模型大部分时间模型或者规划可行,但有时会出现矛盾理性决策依赖于各种目标的相对重要性,也依赖于这些目标被实现的可能性,第7章 不精确推理,7,不确定性下的决策,不确定性的存在改变了智能体进行决策的方式智能体要在各
3、种规划的不同可能结果之间进行选择(有所偏好)一种结果是一个被完全确定的状态任何状态对于智能体来说都具有一定程度的有用性即效用,智能体将偏好具有更高效用的状态决策理论=概率理论+效用理论理性智能体选择能产生最高效用的行动,第7章 不精确推理,8,不精确推理,现实不确定性需要不精确推理,将数值计算引入推理过程继续使用逻辑联结词真假值概率化,以表示某种可靠程度在推理的前提和结论之间建立概率公式(解释)前提称为证据,结论称为假设应用:专家系统中的推理网络(PROSPECTOR系统/MYCIN系统),第7章 不精确推理,9,贝叶斯网络(Bayesian network),智能体使用概率对行动结果(用事件
4、之间的联系表示)进行预测,进而选择期望效用最高的行动贝叶斯网络(也叫贝叶斯信念网)是一个节点标注了定量概率信息的有向图,反映了一个事件对于另一个事件的影响程度/表示了变量之间的依赖关系和概率信息贝叶斯网络是事件之间联系的全面而形象的表示,第7章 不精确推理,10,知识粥(Knowledge Soup),现实世界的复杂性和不确定性反映在智能体内部异质的、不固定的、经常不一致的知识称为知识粥“粥体”包含小块(small chunk)对应于规则、框架等,大块(large chunk)对应于整个理论这些“块”的内部是一致的,“块”之间可以是不一致的从整体来说,知识往往具有这样的特性模糊、不确定、随机、
5、无知,第7章 不精确推理,7.2 Bayes概率推理7.2.1 有关概念和公式7.2.2 几率和似然比7.2.3 似然比应用,第7章 不精确推理,12,主观Bayes主义,主观Bayes主义:将概率推理与归纳逻辑的解释联系起来,现实世界的一些因果关系可以形成一种信念,它并非在所有场合下都正确,可称为部分信念/表示这种信念的最好方法是概率方法,对概率的解释有若干种,其中Bayes创立了主观解释,也称为主观Bayes主义其要点是:概率是个人的一种合理置信度,每个人的估计(概率)虽然各不相同,但应该满足概率的基本规律和其他某些客观规律,因而是合理的,第7章 不精确推理,13,7.2.1 有关概念和公
6、式,在Bayes概率推理中,推理规则表示为if E(前提/证据)then H(结论/假设)(LS,LN)规则强度用LS/LN表示(也称为似然比)/其不精确推理过程是:根据证据E的概率P(E),利用规则的LS和LN,把结论的先验概率P(H)更新为后验概率P(H|E),因而也称为概率传播,第7章 不精确推理,14,Bayes条件概率,Bayes条件概率:令假设H的先验概率为P(H),P(H)是指定的/证据E为真时H的条件概率为P(H|E),P(H|E)的一部分是指定的,一部分是根据P(H)和指定的P(H|E)计算出来的,这部分计算出的概率称为后验概率条件概率P(H|E)可看作以一定概率成立的EH的
7、推理规则,第7章 不精确推理,15,概率公理,Bayes概率服从如下公理(Kolmogorov公理):(1)0P(H)1(2)P(H=T)=1/P(H=F)=0(3)P(HG)=P(H)+P(G)P(HG)/当H和G互斥有P(HG)=P(H)+P(G)特别有P(H)+P(H)=1/一般地有P(Hi|E)=1即证据E下Hi的全体构成了一切可能的假设,其中任意Hi和Hj(ij)互斥这样的概率公理是不能违反的(p364论证),第7章 不精确推理,16,条件概率公式,条件概率公式P(H&G)=P(H|G)P(G)=P(G|H)P(H)该公式指明了H和G两个假设之间存在着相关性如果H和G相互独立,则P(
8、H|G)=P(H)P(G|H)=P(G)P(H&G)=P(H)P(G),第7章 不精确推理,17,全概率公式,全概率公式:一个假设的先验概率可以表示为两个假设的概率,其中后面一个假设遍历各种可能性且各个可能性之间是独立的,则有P(H)=iP(H&Gi)=iP(H|Gi)P(Gi)其解释为:假设H的概率等于从各种证据提供的信息所推出的条件概率之和/证据满足独立性和完全性这个公式也称为全联合分布,第7章 不精确推理,18,边缘化,上述全概率公式从另一个角度可以视为通用化边缘规则:P(Y)=zP(Y,z)=zP(Y|z)P(z)将随机变量的某个变量的分布抽取出来,求和从而得到该变量的无条件概率(或称
9、为边缘概率)/其过程称为边缘化或求和消元(summing out)用于从多个变量的全概率分布中求取某个变量的概率,进行推理,第7章 不精确推理,19,归一化,在一定条件下某个随机变量的绝对概率值可以根据概率公理来归一化一种结果作为分子,同条件各种结果之和作为分母通常,同条件下结果只有2个a/a,故有p(a|*)+p(a|*)=1(*为某种条件)引入归一化常数=1/p(a)+p(a),第7章 不精确推理,20,逆概率公式,逆概率公式从条件概率公式可得如果有多个假设H1Hn,则上式化为,第7章 不精确推理,21,逆概率公式的例子,逆概率公式不仅是条件概率公式的一个简单变形,实际上很有用处如果某个条
10、件概率不便计算,则可以先计算其逆概率,而后算出所要的条件概率例子:求P(肺炎|咳嗽)可能比较困难,但统计P(咳嗽|肺炎)可能比较容易(因为要上医院)/假设P(肺炎)=1/10000,而P(咳嗽)=1/10,90%的肺炎患者都咳嗽,则P(肺炎|咳嗽)=,第7章 不精确推理,22,修正因子(1),可以将前面的逆概率公式写成这说明先验概率P(H)可以通过方括号部分(作为修正因子)修正为后验概率P(H|E)(证据E为真时H的后验概率)在上面的例子中,医生认为一个人得肺炎的可能性为万分之一,一旦发现患者咳嗽,就将调整为万分之九,第7章 不精确推理,23,修正因子(2),将E看作证据,先验概率P(E)越小
11、,且H为真时E的条件概率P(E|H)越大,则修正因子所起作用越大在上例中,如果P(咳嗽)=0.0001/P(咳嗽|肺炎)=0.9999/P(肺炎)不变则P(肺炎|咳嗽)=0.9999,远远超过原来的万分之九,第7章 不精确推理,24,后验概率递推公式,当有n个互相独立的证据,则有公式上式可以写成递推公式形式:上式说明:随着新证据的不断获得,从证据少时的后验概率推出证据多时的后验概率,且每一步都是把上一步的后验概率视为新证据到来时的先验概率,第7章 不精确推理,25,6.2.2 几率和似然比,引入相对量度定义几率:称为H的几率或先验几率,取值范围0,)由此反过来有定义条件几率:,第7章 不精确推
12、理,26,后验几率和先验几率的关系,例子:O(晴天|冬天早晨有雾)=4.2,如果冬天早晨有雾,则该天为晴天的可能性是非晴天可能性的4.2倍由几率定义、条件几率定义和条件概率公式可以推得后验几率和先验几率的关系:,第7章 不精确推理,27,似然比,定义似然比:LS=P(E|H)/P(E|H)LN=P(E|H)/P(E|H)则可得下述关系:O(H|E)=LS*O(H)O(H|E)=LN*O(H)有多个证据独立时,其公式是,第7章 不精确推理,28,似然比约束,对LS和LN的约束对于LS和LN有如下约束要求:二者都是非负的,并且满足,第7章 不精确推理,29,6.2.3 似然比应用,似然比(规则强度
13、)LS和LN的应用当P(E)=1时,利用LS将先验几率O(H)更新为后验几率O(H|E)/当P(E)=1时,利用LN来更新几率在专家系统PROSPECTOR(一个用于探矿的ES)中同时应用了LS和LN,分别表示正面证据和反面证据的支持,称为充分因子和必要因子,并将LS、LN附着在每条规则之上,第7章 不精确推理,30,LS和LN的作用,当LS很大,说明证据成立时假设成立的可能性很大,否则LS1说明E排斥H;LN很小,说明证据不成立时假设不成立的可能性很大LS和LN之值接近1时说明证据成立或不成立对于结论是否成立影响不大一般情况下,LS和LN不是根据定义计算出来的,而是给定的,第7章 不精确推理
14、,31,应用举例(1),例子:评职称的概率设某副教授X要评正教授,现有4个指标,却有8人参与竞争/投票前夕,X作了如下预测:如果不考虑评委因素,则成功概率=1/2,此相当于先验几率O(H)=1;如果考虑评委因素,则情况如下:校评委共15人,其中5人来自其他竞争者所在系,4人与X素有微隙,尤其是其中2人兼具来自其他竞争者所在系,对X的成功构成了极大威胁,但聊以自慰的是评委中有5位老朋友,估计会投X的票,第7章 不精确推理,32,应用举例(2),为此,X定义了如下的似然比:LS(评委Y1出席|X评上)=1/2 Y1来自其他竞争者所在系,同时令LN=2(LS*LN=1)LS(评委Y2出席|X评上)=
15、1/4Y2与X素有微隙,同时令LN=4LS(评委Y3出席|X评上)=1/8Y3来自其他竞争者所在系兼与X素有微隙,同时令LN=8LS(评委Y4出席|X评上)=4Y4是X的老朋友,同时令LN=1/4LS(评委Y5出席|X评上)=1Y5不属于以上情况,LN=1,第7章 不精确推理,33,应用举例(3),若15人全体出席,且假定各条件互相独立,则按公式(6.11),X评上的后验概率是:O(X评上|15人出席)=根据几率和概率之间的关系,换为概率P=O/(1+O)=1/9,X评上的希望不大,第7章 不精确推理,34,应用举例(4),但是,当又有消息说,一位来自其他竞争者所在系兼与X素有微隙的评委A不能
16、出席,而代之以一位态度中立的评委/此时,X又作了一番推测:LS(A出席|X评上)=LN(A出席|X评上)=8LS(中立评委|X评上)=1则在原结果的基础上乘上上述因子,使得后验几率=1,即后验概率=1/2,X评上的前景大大改观,第7章 不精确推理,7.3 贝叶斯网络7.3.1 贝叶斯网络的表示7.3.2 贝叶斯网络中的精确推理7.3.3 贝叶斯网络的近似推理,第7章 不精确推理,36,贝叶斯网络定义,贝叶斯网络(Bayesian network)是一个有向图,其中每个节点都标注了定量概率信息(1)一个随机变量集合组成网络节点,变量可以是离散的或者连续的(2)一个连接节点对的有向边或者箭头的集合
17、,如果存在从节点X指向节点Y的有向边,则称X是Y的一个父节点(3)每个节点都存在一个条件概率分布P(Xi|Parent(Xi),量化父节点对该节点的影响(4)图中不存在有向环(是有向无环图DAG),第7章 不精确推理,37,6.3.1 贝叶斯网络的表示,从一个例子(防盗网)开始,第7章 不精确推理,38,条件概率表,每个节点旁的条件概率表(简称CPT)中的值对应一个条件事件的概率如P(A)=0.94=P(A|BurglaryEarthquake)条件事件是父节点取值的一个可能组合每行的概率之和应改为1(表中只给出了为真的情况,为假的概率应为1-p)一个具有k个布尔父节点的布尔变量的条件概率表中
18、有2k个独立的可指定的概率(注意概率值是独立的)没有父节点的节点的概率只有1行/为先验概率,第7章 不精确推理,39,全联合概率分布,贝叶斯网络给出了关于相关事件的完整描述,通过计算全联合概率分布求取联合分布中的某项是对每个变量赋予一个特定值情况下的合取概率就是条件概率表中适当元素的乘积例子 P(jmabe)=P(j|a)P(m|a)P(a|be)P(b)P(e)=0.90*0.70*0.001*0.999*0.998=0.00062,第7章 不精确推理,40,链式法则,初始的合取概率化为更小的条件概率和更小的合取式/这些条件概率的合取式实际上就是父节点到子节点的概率乘积P(Xi|Xi-1,X
19、1)=P(Xi|Parent(Xi)如果父节点包含于条件Xi-1,X1之中此为链式法则父子节点的关系使得贝叶斯网络具有局部结构化的特性,即每个节点只和数量有限的其它部分产生直接的相互作用,第7章 不精确推理,41,局部结构化与节点顺序,由于贝叶斯网络的局部结构化,每个随机变量可以至多受到至多k个其它随即变量的影响(k=常数)设网络中有n个节点(随机变量),指定每个条件概率表所需信息量至多为2k个数据,则整个网络可以用n2k个数据完全描述/而全联合概率分布需要2n个数据构造贝叶斯网络的次序:添加节点首先从“根本原因”开始,然后加入受其直接影响的变量,直到叶节点(不影响任何其它节点),第7章 不精
20、确推理,42,条件独立关系,贝叶斯网络中节点相互独立(下面两个定义等价):(1)给定父节点,一个节点与它的非后代节点是条件独立的(2)给定一个节点的父节点、子节点以及子节点的父节点(Markov blanket),这个节点对于其它节点都是条件独立的图示,第7章 不精确推理,43,条件独立关系图示,第7章 不精确推理,44,噪声或关系(1),贝叶斯网络中尽管父节点个数k很小,但是要完成条件概率表仍需要O(2k)数据如果找到了变量依赖的“噪声”逻辑关系,则可以用O(k)个参数完成条件概率表噪声或(noisy-OR)关系用于刻画不确定关系,使逻辑或的推广噪声或关系考虑到每个父节点引起子节点为真的能力
21、的不确定性,第7章 不精确推理,45,噪声或关系(2),这种不确定性用一个例子表示:发烧(fever)为真,当且仅当以下三者之一为真感冒(cold)/流感(flu)/疟疾(malaria)但是可能病人得了以上疾病却没有发烧症状,这就是父节点为真其子节点未必真的不确定性即父子关系被抑制此时可以认为:fever为假当且仅当所有为真的父节点被抑制,其概率为每个父节点被抑制的概率的乘积,第7章 不精确推理,46,噪声或关系(3),假设每个单独抑制的概率如下P(fever|cold,flu,malaria)=0.6P(fever|cold,flu,malaria)=0.2P(fever|cold,flu
22、,malaria)=0.1则可以建立一个完整的条件概率表/大大减少了所需参数,成为一种有效表示如P(fever|cold,flu,malaria)=0.2*0.1=0.02P(fever|cold,flu,malaria)=0.6*0.2*0.1=0.012 P(fever|cold,flu,malaria)=1-0.012=0.988,第7章 不精确推理,47,6.3.2 贝叶斯网络中的精确推理,概率推理系统中的基本任务是计算被查询变量的后验概率设X为待查询变量/e为观察到的证据/E=E1Em证据变量集合/Y=Y1Yn非证据变量集合(也称隐变量)全部变量集合=XEY推理的任务是:求后验概率P
23、(X|e)实际上,根据边缘化规则可得P(X|e)=P(X,e)=yP(X,e,y),第7章 不精确推理,48,查询实例(1),上式表明:在贝叶斯网络中计算条件概率的乘积并求和,以便回答查询以防盗警报为例,求P(B|JohnCalls=T,M=F)证据JohnCalls=True/MaryCalls=False查询变量Burglary=True隐含变量Earthquake/Alarm用首字母简化式有:P(b|j,m)=P(b,j,m)=EAP(b,E,A,j,m),第7章 不精确推理,49,查询实例(2),进一步代入条件概率:P(b|j,m)=EAP(b)P(E)P(A|b,e)P(j|A)P(
24、m|A)上式最坏复杂度仍然是O(n2n)对所有变量求和改进将相对常数移到求和符号以外P(b|j,m)=P(b)EP(E)AP(A|b,E)P(j|A)P(m|A)计算过程(遍历A=a/a和E=e/e)P(j|a)=0.90P(m|a)=0.30P(j|a)=0.05P(m|a)=0.99P(a|b,e)=0.95P(a|b,e)=0.05P(a|b,e)=0.94P(a|b,e)=0.06,第7章 不精确推理,50,查询实例(3),乘积求和过程EP(E)AP(A|b,E)P(j|A)P(m|A)=P(e)*AP(A|b,e)P(j|A)P(m|A)+P(e)*AP(A|b,e)P(j|A)P(
25、m|A)=P(e)*P(a|b,e)*P(j|a)*P(m|a)+P(a|b,e)*P(j|a)*P(m|a)+P(e)*P(a|b,e)*P(j|a)*P(m|a)+P(a|b,e)*P(j|a)*P(m|a)=0.002*0.95*0.90*0.30+0.05*0.05*0.99+0.998*0.94*0.90*0.30+0.06*0.05*0.99=0.002*0.2565+0.0025+0.998*0.2538+0.0030=0.002*0.2590+0.998*0.2568=0.2568,第7章 不精确推理,51,查询实例(4),相应地有P(b|j,m)=P(b)*0.2568=0.
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 人工智能 原理 不精确 推理

链接地址:https://www.31ppt.com/p-5194260.html