人工智能(知识工程和数据挖掘)课件.ppt

指导教师：XXX,人工智能,9.1 知识工程简介9.2专家系统可以解决的问题9.3模糊专家可以解决的问题9.4神经网络可以解决的问题9.5遗传算法可以解决的问题9.6混合智能系统可以解决的问题9.7数据挖掘和知识发现,第九章 知识工程和数据挖掘,9.1 本章讨论如何选择正确的工具，构建智能系统并将数据转化为知识？,选择正确的工具对于构建智能系统而言是最关键的部分构建智能系统的过程从理解问题域开始。首先要评估问题，确定可用的数据及解决问题需要的信息。一旦理解了问题，就可以选择合适的工具并用这个工具开发系统了,构建基于知识的智能系统的过程称为知识工程,知识有6个基本阶段1）评估问题2）获取数据和知识3）开发原型系统4）开发完整的系统5）评估并修订系统6）整合和维护系统,9.2 专家系统可以解决什么问题？,9.2 专家系统可以解决什么问题？,案例：诊断专家系统开发一个智能系统，帮助修理Mac电脑的故障。专家系统可以解决这样的问题吗？,要开发计算机诊断系统，就要获取计算机故障排除的知识。使用故障排除手册是比较好的方法，手册中的知识非常简练，几乎可以直接用在专家系统中。完全可以不必咨询专家。,9.2 专家系统可以解决什么问题？,故障是通过一系列可视的检查或测试来发现的。首先收集最初的信息（系统没有启动），根据其作出推断。然后，收集另外的信息（电源良好、电线没有问题）。最终确定导致故障的原因。,9.2 专家系统可以解决什么问题？,大,9.2 专家系统可以解决什么问题？,Rule: 1if task is system start-upthen ask problemRule: 2if task is system start-upand problem is system does not startthen ask test power cordsRule: 3if task is system start-upand problem is system does not startand test power cords is okthen ask test Powerstrip,9.2 专家系统可以解决什么问题？,9.2 专家系统可以解决什么问题？,如何选择专家系统开发工具？应该使问题的特征和工具的功能相匹配工具不仅包含高级程序语言，如LISP、OPS、C、Java，也包含专家系统框架语言提供了更大的灵活性，但是要求的编程技巧也很高框架虽然不灵活，但是提供了内建推理引擎、解释工具盒用户界面，只需输入英语编写的规则，可快速构建原型,9.2 专家系统可以解决什么问题？,如何选择框架？选择专家系统框架的时候，要考虑的是如何表达知识的（规则或者结构）它使用的推理机制（前向链接或者后向链接）是什么框架是否支持部准确的推理以及使用的技术是什么（贝叶斯推理、确定因子或者模糊逻辑）框架是否有“开放”的架构以允许使用外部的数据文件和程序以及用户如何和专家系统交互选择工具的一个重要指标是提供工具的公司的稳定性,9.2 专家系统可以解决什么问题？,公司稳定性的指标是什么一些重要的指标，例如，公司是哪年成立的、员工的人数、总收入、智能系统产品的总收入如、已售产品的数量等。,9.2 专家系统可以解决什么问题？,要先确定模糊技术是否适合解决这类问题如果不能为每个可能的情况制定出一系列的规则，那就使用模糊逻辑。如果问题本身就不严密，那么模糊技术就是最好的选择案例3：决策支持模糊技术开发一个智能系统来评估抵押申请。模糊专家系统能处理这样的问题吗？,9.3 模糊专家系统可以解决的问题,首先用模糊术语表达抵押申请评估中的基本概念然后用合适的模糊工具在原型系统中实现这个概念最后用选定的测试用例来测试和优化系统,9.3 模糊专家系统可以解决的问题,9.3 模糊专家系统可以解决的问题,9.3 模糊专家系统可以解决的问题,9.3 模糊专家系统可以解决的问题,9.3 模糊专家系统可以解决的问题,9.3 模糊专家系统可以解决的问题,9.3 模糊专家系统可以解决的问题,9.3 模糊专家系统可以解决的问题,9.3 模糊专家系统可以解决的问题,开发原型系统的最后一个阶段是评估和测试,9.3 模糊专家系统可以解决的问题,案例5：预测神经网络开发一个进行房地产评估的智能系统，神经网络可以解决这个问题吗？房地产评估是一个根据类似住房销售价格的知识预测给定房产的市场价的问题选择神经网络，我们无法理解房产的估价是如何得出的，因为神经网络对于用户来讲是个黑盒子,9.4 神经网络可以解决的问题,输入（房产的位置、居住面积、卧室数量、浴室数量、土地尺寸、供热系统等）输出就是我们试图预测的结果我们有很多例子来训练神经网络，即最近销售的房屋及其价格的特征，训练集需要足够的丰富,9.4 神经网络可以解决的问题,如何让确定训练集“足够大”？网络的推广能力取决于三个主要因素：训练集大小、网络的架构和问题的复杂性。公式 其中N是训练例子的数量，nw是网络中突出权重的数量，e是测试允许额网络误差有些特征（例如房子的条件和位置）可以确定在1（没有吸引力）到10（很有吸引力之间）,9.4 神经网络可以解决的问题,修改数据数据分为三种类型：连续数据、离散数据和分类数据 例如，例子中的面积在59231，我们可以将最小值设为50，最大值设为250，任何地域最小值的值都映射为最小值，大于最大值的值映射为最大值实际面积为121，,9.4 神经网络可以解决的问题,离散数据，例如卧室的数量和浴室的数量，也有最大值和最小值卧室的数量一般为04修改后的离散数据,9.4 神经网络可以解决的问题,分类数据，例如性别和婚姻状态可以用1/N编码来修改例如，婚姻状态可以是单身、离异、已婚、#寡，已婚的人可以用（0 0 1 0）表示,9.4 神经网络可以解决的问题,输入层（有十个神经元）将修改后的输入值传到隐含层隐含层包含两个神经元，输出层只有一个神经元，隐含层和输出层的神经元使用S型激活函数,9.4 神经网络可以解决的问题,如何解释网络的输出？网络输出层的值为01之间的连续值，要解释这个结果只需要倒转程序即可例如，在训练集中，销售价格的范围在$52500$225000之间，输出值将$50000映射为0，$250000映射为1，如果网络的输出是0.3546，结果为,9.4 神经网络可以解决的问题,如何验证结果？为了验证结果可以使用没有遇到过的例子集。在训练前，将所有可用的数据随机分成训练集和测试集，可以用测试集进行测试神经网络是不透明的，要想把握输入输出之间的关系，可以通过灵敏度分析执行灵敏度分析要将每个输入设成最小值，然后再设成最大值，并测量网络的输出,9.4 神经网络可以解决的问题,遗传算法可以用于很多优化问题。优化是为问题寻找较好解决方法的基本过程。问题可能有多余一个的解决方案，而这些解决方案品质不同。遗传算法产生候选解决种群，然后通过自然选择使这些解决方案进化，不好的解决方案趋向于淘汰，好的方案存活并继续繁殖。不断的重复这个过程，遗传算法就得到了最优解,9.5 遗传算法可以解决的问题,案例：旅行推销员问题开发一个可以产生优化路线的智能系统，开车旅行并参观欧洲中部和西部的主要城市然后再回家，遗传算法可以解决这个问题吗？这就是著名的旅行推销员问题（TSP）。给定有限个城市N，以及每两个城市之间旅行的费用（或距离），我们要找出花费最少（或路程最短）的路线，而每个城市都能到达且仅到达一次后回到出发点TSP问题经常出现在运输和后勤应用中，例如学校所属区域接送孩子，给回家的人送饭，安排收取邮件的卡车路线,9.5 遗传算法可以解决的问题,遗传算法是怎么解决TSP问题的?首先，要决定如何表达推销员的路线。最自然的方法就是路径表示法。每个城市用字母或数字命名，城市间的路线用染色体来表示，用合适的遗传操作来产生新的路线,9.5 遗传算法可以解决的问题,TSP中的交叉操作如何进行传统形式的交叉操作不能直接在TSP中使用,9.5 遗传算法可以解决的问题,TSP交叉过程,9.5 遗传算法可以解决的问题,TSP突变操作如何进行？有两种突变操作：倒数交换和倒置,9.5 遗传算法可以解决的问题,如何定义TSP的适应函数？（标准）一旦定义了适应性函数和遗传操作，就可以实现并运行GA例如，假设在一个1*1的正方形中有20个城市首先选择染色体种群的大小和遗传代数。可以让种群从小到大。,9.5 遗传算法可以解决的问题,9.5 遗传算法可以解决的问题,如何得知已经找到了最佳路线？实际上我们不可能知道是否找到了最佳路线。只有用不同的染色体种群大小、不同的交叉率和突变率做更多的测试，才能得到答案,9.5 遗传算法可以解决的问题,要解决现实世界中复杂的应用问题，需要融合专家系统、模糊逻辑、神经网络和进化计算这些方法的优点的复杂智能系统混合智能系统还在发展中，神经网络可以从数据中进行学习，模糊逻辑最重要的优势是模拟人类的决策能力,9.6 混合智能系统可以解决的问题,案例：神经模糊决策支持系统开发一个根据心脏图像进行心肌灌注诊断的智能系统。有一些心脏图像以及临床说明和应声的注解。混合系统可以解决这个问题吗？,9.6 混合智能系统可以解决的问题,现代心脏内科学诊断的基础是分析SPECT（单光子发射计算机断层图像）图像。给患者注入放射性示踪剂，就可以获得两套SPECT图像（负荷图像和静息图像），心脏专家通过比较两个图像就可以发现心脏功能的异常SPECT图像时一种256个灰度的高分辨率的二维黑白图像。图像中比较明亮的地方和心肌灌注良好的部分对应，较暗的地方表示缺血，通过观察SPECT图像比较主观，容易出错，所以智能系统就体现了很大的价值所在,9.6 混合智能系统可以解决的问题,在本案例中我们使用276个心脏诊断病例。每个病例有2个SPECT图像，每个图像分成22个区域，用0100的整数表示灌注是否良好每个心脏诊断病例用44个连续的特征和一个二值特征来表示，二值特征表示最后的诊断异常或者正常整个SPECT的数据集有55个正常病例（阳性病例）和212个异常病例（阴性病例）。数据集分成训练集和测试集。训练集有40个阳性病例和40个阴性病例，测试集有15个阳性病例和172个阴性病例,9.6 混合智能系统可以解决的问题,可以训练后向传送神经网络来SPECT图像分成正常图像和异常图像吗？后向传送神经网络确实可以用于分类SPECT图像-训练集足够大，则网络就可以完成分类。但是，在用测试集进行测试时，我们发现网络的性能很差-大概25%的正常心脏诊断病例被无分为异常，而超过35%的异常病例被诊断为正常，总的误差达到了33%。,9.6 混合智能系统可以解决的问题,这就表示训练集中缺少些重要的病例对异常病例的误分类的后果要比正常对正常病例误分类的结果严重的多。因此，要减少异常的误分类比例，就要增加正常图像的误分类比例神经网络陈胜两种输出：图像属于normal类的概率和abnormal例：0.92和0.16 正常 017和0.51 异常 0.51和0.49 无法判断,9.6 混合智能系统可以解决的问题,可以在医学诊断的决策制定中使用模糊逻辑吗？实际上，医生通过依赖于自身的经验和直觉来发现心肌的异常情况。模糊逻辑就是一种模拟心脏专家评估心脏病发作风险的办法构建模糊系统，首先要确定输入（NN output 1和NN output 201）和输出（心脏病发作的风险），定义模糊集，构建模糊规则,9.6 混合智能系统可以解决的问题,9.6 混合智能系统可以解决的问题,9.6 混合智能系统可以解决的问题,9.6 混合智能系统可以解决的问题,9.6 混合智能系统可以解决的问题,风险在30%50%之间的病例很难归类为normal或abnormal，这样的病例是不确定的我们可以用心脏专家的经验和知识将这些不确定的病例分类吗？,9.6 混合智能系统可以解决的问题,1）如果区域i在负荷时的灌注高于静息时 的灌注，则心脏病的风险减少2）如果区域i在负荷时的灌注不高于静息时的灌注，则心脏病的风险增加步骤1：将心脏病病例输入神经模糊系统步骤2：如果风险不在30%50%之间，结束。否则，到步骤3步骤3:对于区域1，负荷时的灌注高于静息时的灌注，则将结果乘以0.99以减少当前风险，否则乘以1.01来增加当前的风险。重复直至22个区域都计算完步骤4：如果还有在30%50%之间的则还确定为uncertain类,9.6 混合智能系统可以解决的问题,发现分类的准确性得到了很大的提升：总体的诊断误差率不超过5%，仅有3%的异常病例误归到正常类。正常病例的误诊率较高，但是也好过心脏专家的分类结果,9.6 混合智能系统可以解决的问题,数据是我们收集和存储的，知识是帮助我们做决策的。从数据中提取知识称为数据挖掘。数据挖掘也可以定义成在大量数据中进行探索和分析，以便发现有意义的模式和规则。数据挖掘的最终目标是发现知识我们生活在数据快速增长的时代，需要有能够帮助我们提取有意义的信息和知识的方法,9.7 数据挖掘和知识发现,现代企业必须对市场的变化做出快速响应，需要快速的助理数据仓库中当前的数据什么是数据仓库？数据仓库的主要特征是容量数据仓库是用来支持企业制定决策的，所需要的数据通过查询工具来获得查询工具和数据挖掘之间区别查询工具需要假设，数据挖掘不需要假设,9.7 数据挖掘和知识发现,数据挖掘还是一个全新的不断发展的领域，但是他在银行、金融、营销和电信领域已经有了大量的应用统计方法不能解决数据挖掘的问题数据挖掘通常使用神经网络和神经模糊系统。数据挖掘最常见的工具是决策树,9.7 数据挖掘和知识发现,决策树可以定义为推理过程的图。通过树形结构来表述数据集。特别适合解决分类问题决策树包含节点、分支和叶子,9.7 数据挖掘和知识发现,大,因变量决定研究的目标，他是由用户选择的。Household被设置成因变量取值可以是responded或not responded两种根节点下面是树的下一层。书选择了变量Homeownership作为因变量的预测器，并将所有的家庭按照预测器的值进行拆分。数据的拆分也叫分割。,9.7 数据挖掘和知识发现,最佳分割最适合用于创建某一类占主导地位的节点有几种方法可以计算分割数据的预测器的能力，最好的方法是基于基尼不均匀系数基尼系数是评价预测器分割秦代节点中所包含的类的好坏的一种度量方法,9.7 数据挖掘和知识发现,对角线和财富绝对均等分配相对应，上曲线为真实的经济情况基尼系数就是阴影面积除以对角线下方的面积,9.7 数据挖掘和知识发现,决策树要尽力分割出最大的一个类不存在可以把一个类和另一个类明确分隔开的数据库字段,9.7 数据挖掘和知识发现,大,9.7 数据挖掘和知识发现,用基尼不均等度量选择的分割自动生长,大,9.7 数据挖掘和知识发现,按照经验进行猜测来分割,大,9.7 数据挖掘和知识发现,从根节点到东段节点的路径就是决策规则if(Predictor 1 = no)and(Predictor 4 = no)and(Predictor 6 = no)thenclass = Class A,9.7 数据挖掘和知识发现,案例：数据挖掘的决策树有一份公众健康调查的结果，想知道那些人有患高血压的风险。决策树可以解决这个问题吗？决策树的典型任务是确定导致某种结果的条件。因此用决策树来勾勒患有高血压的人群是很好的选择,9.7 数据挖掘和知识发现,首先，保持数据是干净的，决策树不能处理有噪音和被污染的数据然后，增加数据，例如obesity选择决策树工具，本案例用的是Angoss的KnowledgeSEEKER，用Blood presure作文根节点开始构建决策树，将所有答卷人分为三类：optimal、normal、high,9.7 数据挖掘和知识发现,KnowledgeSEEKER确定每个变量对血压的影响，并将最重要的变量排序,9.7 数据挖掘和知识发现,大,9.7 数据挖掘和知识发现,大,9.7 数据挖掘和知识发现,决策树优势在于结果的可视化，容易跟踪某条路径。决策树发现的关系可以用一系列规则表示，规则可以用于开发专家系统缺点：连续数据必须按范围进行分组，数据必须是干净的，每次处理的变量不能超过一个尽管有缺点，但是决策树还是数据挖掘所使用的最成功的技术，能够产生清晰地规则,9.7 数据挖掘和知识发现,Thank you！,