《数据挖掘导论》教材配套教学ppt——第1章认识数据挖掘课件.ppt

《《数据挖掘导论》教材配套教学ppt——第1章认识数据挖掘课件.ppt》由会员分享，可在线阅读，更多相关《《数据挖掘导论》教材配套教学ppt——第1章认识数据挖掘课件.ppt（65页珍藏版）》请在三一办公上搜索。

1、第1章 认识数据挖掘,数据挖掘定义机器学习数据查询专家系统数据挖掘过程/作用/技术/应用Weka数据挖掘软件,2022年12月29日星期四,第2页，共66页,本章目标,掌握数据挖掘的定义了解机器学习中的基本方法概念学习归纳学习有指导的学习无指导的聚类了解与数据挖掘有关的数据查询、专家系统了解数据挖掘的过程、作用、技术、应用掌握Weka数据挖掘软件的使用方法,1.1 数据挖掘定义,2022年12月29日星期四,第4页，共66页,数据挖掘（Data Mining）,技术角度利用一种或多种计算机学习技术，从数据中自动分析并提取信息的处理过程。目的是寻找和发现数据中潜在的有价值的信息、知识、规律、联系

2、和模式。数据挖掘与计算机科学有关，一般使用机器学习、统计学、联机分析处理、专家系统和模式识别等多种方法来实现。学科角度数据挖掘是一门交叉学科，涉及数据库技术、人工智能技术、统计学、可视化技术、并行计算等多种技术。,2022年12月29日星期四,第5页，共66页,商业角度商业智能信息处理技术；围绕商业目标开展的，对大量商业数据进行抽取、转换、分析和处理，从中提取辅助商业决策的关键性数据，揭示隐藏的、未知的或验证已知的规律性，是一种深层次的商业数据分析方法。,数据挖掘（Data Mining）,1.2 机器学习,2022年12月29日星期四,第7页，共66页,1.2.1 概念学习,通过对大量实例进

3、行训练，从中发现经验化规律的过程。机器学习结果的通常表现形式为概念。机器最擅长的是学习概念。概念（Concept）具有某些共同特征的对象、符号或事件的集合。概念可以从三个不同的角度来看待,2022年12月29日星期四,第8页，共66页,1.2.1 概念学习,1、传统角度（Classical View）所有概念都有明确的定义。2、概率角度（Probabilistic View）对个别样本实例进行概括性描述，概括性说明构成了概率角度中的概念。3、样本角度（Exemplar View）样本角度中的概念是将某个概念中的典型实例组成一个集合，使用该集合来描述概念定义。,2022年12月29日星期四,第9

4、页，共66页,1.2.2 归纳学习（Induction-Based Learning）,基于归纳的学习机器学习方式人类学习最重要方式之一人类通过对事物的特定实例的观察，对所掌握的已有经验材料研究。归纳学习从归纳中获取和探索新知识，并以概念的形式表现出来的学习。,2022年12月29日星期四,第10页，共66页,1.2.3 有指导的学习（Supervised Learning）,定义通过对大量已知分类或输出结果值的实例进行训练，调整分类模型的结构，达到建立能够准确分类或预测未知模型的目的。这种基于归纳的概念学习过程被称为有指导（监督）的学习。数据实例（Instance）用于有指导学习的样本数据训

5、练实例（Training Instance）用于训练的实例检验实例（Test Instance）分类模型建立完成后，经过检验实例进行检验，判断模型是否能够很好地应用在未知实例的分类或预测中。,【例1.1】,给定如表1.1所示的数据集T，使用有指导的学习方法建立分类模型，对未知类别的实例进行分类。,2022年12月29日星期四,第12页，共66页,表1.1 感冒诊断假想数据集,表1.1 感冒诊断假想数据集,2022年12月29日星期四,第13页，共66页,决策树（Decision Tree）,倒立树，非叶子节点表示在一个属性上的分类检查，叶子节点表示决策判断的结果，该结果选择了正确分类较多实例的

6、分类。决策树有很多算法（第2章）,图1.1 感冒类型诊断C4.5决策树,2022年12月29日星期四,第14页，共66页,分类未知实例,分类模型建立和检验完成后，就可以实际投入使用，即用该模型对未知分类的实例进行分类。,表1.2 未知分类的数据实例,2022年12月29日星期四,第15页，共66页,产生式规则,决策树一般都可以被翻译为一个产生式规则集合。产生式规则的格式为：IF 前提条件 THEN 结论图1.1翻译为4条产生式规则（1）IF Sore-throat = No THEN Cold-type = Viral（2）IF Sore-throat = Yes & Cooling-effe

7、ct = Good THEN Cold-type = Viral （3）IF Sore-throat = Yes & Cooling-effect = Not good THEN Cold-type = Bacterial（4）IF Sore-throat = Yes & Cooling-effect = Unknown THEN Cold-type = Bacterial,2022年12月29日星期四,第16页，共66页,1.2.4 无指导的聚类（Unsupervised Clustering）,无指导（监督）聚类一种无指导（无教师）的学习；在学习训练之前，无预先定义好分类的实例，数据实例按

8、照某种相似性度量方法，计算实例之间的相似程度，将最为相似的实例聚类在一个组簇（Cluster）中，再解释和理解每个簇的含义，从中发现聚类的意义。,【例1.2】,给定如表1.1所示的数据集T，使用无指导聚类方法，对所有实例进行分类，解释每个簇的含义。,2022年12月29日星期四,第18页，共66页,挖掘准备,删除Cold-type（感冒类型）属性选择算法无指导聚类有很多种算法，K-means（K-均值）算法、凝聚聚类方法、概念分层Cobweb算法、EM算法等。K-means算法是一种最为常用和易用的算法。指定初始簇K-means（K-均值）算法在聚类前指定一个初始的簇的个数，本例指定为2。,2

9、022年12月29日星期四,第19页，共66页,聚类结果,聚类为两个簇，每个簇有5个实例，分别为Cluster0 = 1,3,4,8,9Cluster1 = 2,5,6,7,10每个簇的概念结构可以表示为一个产生式规则（1）IF Increased-lym = Yes & Cooling-effect =Good THEN Cluster = 0（rule accuracy = 4/4 = 100%，rule coverage = 4/5 = 80%）（2）IF Sore-throat = Yes & Cooling-effect = Not good THEN Cluster = 1（rul

10、e accuracy = 4/4 = 100%，rule coverage = 4/5 = 80%）,1.3 数据查询,2022年12月29日星期四,第21页，共66页,数据查询（Data Query）,通过数据查询语言在数据中找出所需要的数据或信息。什么时候使用数据挖掘，什么时候使用数据查询呢？获取浅知识或多维知识（Multidimensional Knowledge）获取数据中潜在的、隐藏的信息或知识隐含知识（Hidden Knowledge）,1.4 专家系统,2022年12月29日星期四,第23页，共66页,专家系统（Expert System）,一种具有“智能”的计算机软件系统。能够

11、模拟某个领域的人类专家的决策过程，解决那些需要人类专家处理的复杂问题。一般包含以规则形式表示的领域专家的知识和经验，系统就是利用这些知识和方法进行推理和判断，从而解决该领域中实际问题。专家（Expert）有能力解决领域中复杂问题的人通常被称为该领域中的专家（Expert）,2022年12月29日星期四,第24页，共66页,专家系统方法 与 数据挖掘方法,图1.2专家系统方法vs 数据挖掘方法,1.5 数据挖掘的过程,2022年12月29日星期四,第26页，共66页,KDD过程,数据挖掘是KDD过程中的一个阶段（第3章）一次数据挖掘实验分为4个步骤（1）准备数据，包括准备训练数据和检验数据（2）

12、选择一种数据挖掘技术或算法，将数据提交给数据挖掘软件（3）解释和评估结果（4）模型应用,图1.3 数据挖掘实验过程示意图,2022年12月29日星期四,第27页，共66页,1.5.1 准备数据,是整个数据挖掘过程中较为重要和费时费力的阶段。在明确数据挖掘目标后，可以通过从传统数据库、数据仓库和平面文件三种途径收集和抽取数据。1、传统数据库操作型数据库（Operational Database），它是面向日常事务处理的数据库，通常结构为关系模型。数据库中包含若干个规范化了的二维关系表。2、数据仓库数据仓库（Data Warehouse）是面向决策支持而不是日常事务处理而设计的。3、平面文件一些数

13、据量较小的数据集可以存储在如Excel电子表格、.csv、.arff等平面文件中。,2022年12月29日星期四,第28页，共66页,1.5.2 挖掘数据,选择一种数据挖掘技术或算法，将数据提交给数据挖掘工具，应用该算法建立模型。选择数据挖掘技术或算法需要考虑（1）判断学习是有指导的还是无指导的。（2）数据集中的哪些实例和属性提交给数据挖掘工具；哪些数据实例作为训练数据；哪些数据实例作为检验数据。（3）如何设置数据挖掘算法的参数。,2022年12月29日星期四,第29页，共66页,1.5.3 解释和评估结果,对数据挖掘的输出进行检查，评估其是否达到挖掘目标，确定所发现的信息或知识是有价值的。数

14、据挖掘的评估工具有多种（第5章）如果结果不理想，可以（1）（2）进行重复实验，直到得到满意结果为止。（1）使用或选择新的数据实例或属性（2）选择新的数据挖掘算法或参数一个数据挖掘过程是个迭代的过程。,2022年12月29日星期四,第30页，共66页,1.5.4 模型应用,数据挖掘的终极目标。可以应用分类模型解决如例1.1中的疾病诊断问题；可以应用聚类模型解决对顾客的分类，找出不同类中顾客的行为特征，从而为诸如促销活动等提供决策支持；可以通过应用关联分析模型，找出顾客购买的商品之间的关联关系，对于货架摆放、商品促销等提供决策支持。,1.6 数据挖掘的作用,2022年12月29日星期四,第32页，

15、共66页,数据挖掘的作用,两大类建立有指导的学习模型和无指导聚类模型。因变量（Dependent Variables）有指导的学习模型中的输出属性的值依赖于输入属性的取值，所以输出属性又被称为因变量自变量（Independent Variables）相对的，输入属性被称为自变量,2022年12月29日星期四,第33页，共66页,数据挖掘的作用,图1.4数据挖掘的作用,1.7 数据挖掘技术,2022年12月29日星期四,第35页，共66页,数据挖掘技术（Data Mining Technique）,对一组数据应用一种数据挖掘方法。一般由一个数据挖掘算法和一个相关的知识结构，如树结构或规则来定义的

16、。,2022年12月29日星期四,第36页，共66页,1.7.1 神经网络（Neural Network）,一种具有统计特性的数学模型。创建思想源于人类神经网络的结构、功能和运行过程。试图模拟人脑功能来完成学习。已经成功地应用于多个领域的问题中，是非常流行的数据挖掘技术。可以建立有指导学习模型和无指导聚类模型。输入属性必须是数值的，输出属性可以是数值的也可以是分类的。,2022年12月29日星期四,第37页，共66页,前馈（Feed-Forward）神经网,常用的有指导的学习模型。全连接每一层的每个节点都与其下一层的所有节点相连接，而同层节点之间不相连。每个网络连接上都具有权重值，如w1j、w

17、2j、w3j。,图1.5 三层全连接前馈神经网,2022年12月29日星期四,第38页，共66页,建立神经网络模型的两个阶段,第一个阶段学习训练阶段将每个实例的输入属性值提交给输入层节点。神经网络使用输入值和网络连接权重值来计算每个实例的输出。将每个实例的输出和希望的网络输出进行比较，希望值和计算输出值之间的误差通过修改连接权值传回网络。当达到一定的迭代次数后或当网络收敛到一个预定的最低错误率时，训练终止。第二个阶段检验阶段固定网络权重，将模型用于计算新实例的输出值。,2022年12月29日星期四,第39页，共66页,1.7.2 回归分析（Regression Analysis）,一种统计分析

18、方法。可以用来确定两个或两个以上变量之间的定量的依赖关系，并建立一个数学方程作为数学模型，来概化一组数值数据，进而进行数值数据的估值和预测。应用非常广泛。,2022年12月29日星期四,第40页，共66页,办公楼数据集,表1.3 办公楼数据集,2022年12月29日星期四,第41页，共66页,回归模型,y = 27.642500 + 12 529.773 + 2553.212234.2425 + 52 317.83 = 158 257.56,使用回归方程预估办公楼的价值。设有一座未知价值的办公楼，面积为 2500、3个办公室、2 个入口，已使用 25 年，则其估计价值计算所得，为158 257

19、.56。,2022年12月29日星期四,第42页，共66页,1.7.3 关联分析,一种关联规则（Association Rule）挖掘技术，用于发现数据中属性之间的有价值的联系。关联规则可以有多个输出属性，一个规则的输出属性可以在另一规则中作为输入属性。关联分析用来发现潜在的令人感兴趣的商品购买组合，是购物篮分析的常用技术。关联分析有多种算法，其中最著名的为Agrawal等人于1993年提出的Apriori关联分析算法。Apriori算法不支持数值型数据，在使用该算法之前，需要进行必要的数据变换。,【例1.3】,应用Apriori算法，对表1.1中的数据集进行关联分析，找出感冒症状之间的关联关

20、系。,2022年12月29日星期四,第44页，共66页,关联规则,生成三条关联规则（1）IF Leukocytosis = Yes THEN Fever = Yes（rule accuracy = 5/5 = 100%，rule coverage = 5/8 = 62.5%）（2）IF Increased-lym = No THEN Sore-throat=Yes（rule accuracy = 4/4 = 100%，rule coverage = 4/7 = 57.1%）（3） IF Cooling-effect = Good THEN Fever = Yes（rule accuracy =

21、 4/4 = 100%，rule coverage = 4/8 = 50%）,2022年12月29日星期四,第45页，共66页,1.7.4 聚类技术,基于划分的聚类方法（K-means算法）基于分层的聚类方法基于模型的聚类方法。,1.8 数据挖掘的应用,2022年12月29日星期四,第47页，共66页,1.8.1应用领域,图1.6 网站公布的2012年数据挖掘的应用领域,2022年12月29日星期四,第48页，共66页,1.8.2 成功案例,除了最著名的沃尔玛的尿布和啤酒之外，还有（1）Empire Blue Cross公司利用DWT，甄别出虚假开立医疗凭据的医生，节省滥赔支出。（2）金融犯罪

22、强制网络AI系统（FAIS）使用DWT ，识别大型现金交易中可能存在的洗钱行为。（3）加拿大西门菲沙大学（Simon Fraser）的KDD研究组根据其拥有的十几年的客户数据，进行数据挖掘分析，提出了新的电话收费和管理办法，制定出公司和客户都受益的优惠政策。（4）美国梅隆（Mellon）银行使用Intelligent Agent数据挖掘工具提高销售和定价金融产品的准确率。（5）美国西部通信（US West Communications）根据家庭大小、家庭成员平均年龄和所在地特征，使用数据挖掘和数据仓库来确定客户的倾向和需要，从而帮助签约新客户和增加与新客户的交易额。（6）使用贝叶斯分类数据挖掘

23、技术，萨莎（Sacha）等人成功地通过心肌SPECT图像对心肌灌注进行分类，诊断患者是否患有冠心病。（7）20世纪Fox公司利用数据挖掘技术分析票房收入来确定在各个市场环境中更容易被接受的演员和故事情节。（8）科学界普遍认为存在两种射线爆。慕克吉（Mukherjee）等人使用统计聚类分析法发现了第三类射线爆。（9）NBA球队使用IBM公司开发的数据挖掘应用软件Advanced Scout系统来优化他们的战术组合。（10）全球十大视频网站之一Netflix公司应用大数据的挖掘技术，成功营销热播剧纸牌屋。,1.9 Weka数据挖掘软件,2022年12月29日星期四,第50页，共66页,1.9.1

24、Weka简介,Weka（Waikato Environment for Knowledge Analysis，怀卡托智能分析环境）诞生于 University of Waikato（新西兰怀卡托大学）。基于Java 的免费开源软件。集成了有关数据挖掘的机器学习算法和统计技术，具有数据预处理、分类、聚类、关联分析、属性选择和交互式可视化等功能。操作简单、易学易用，作为入门软件完成简单挖掘工作。若未安装 JRE，需下载包含 JRE 的 Weka 版本（Weka 3.6.10）,1. Weka的特点,2022年12月29日星期四,第52页，共66页,Weka软件特点,（1）跨平台；（2）支持结构化文

25、本文件、数据挖掘格式文件和数据库接口；（3）可处理连续型数值数据和离散型（字符型和日期型）数据；（4）具有缺失数据处理、噪声处理、标准化、数据离散化、属性构造、转换变量、拆分数据、数据平滑等数据预处理功能；（5）具有分类、聚类、关联和可视化等数据挖掘功能；（6）提供算法组合、用户自定义算法嵌入、算法参数设置功能；（7）能够生成基本报告、测试报告、输出格式，实现模型解释、模型比较、数据评分功能；（8）具有数据、挖掘过程及挖掘结果可视化功能。,2. Weka的文件格式,2022年12月29日星期四,第54页，共66页,ARFF文件,Weka默认使用ARFF（Attribute-Relation F

26、ile Format）。一种ASCII文本文件格式，由两部分组成第一部分为头信息（Head Information），包括对关系的声明和对属性的声明；第二部分为数据信息（Data Information），即数据集中的数据实例（Instance）。,图1.7 表1.1感冒类型诊断数据集的arff文件格式,3. Weka的功能,2022年12月29日星期四,第56页，共66页,4 种界面（GUI）,（1）Explorer：数据挖掘用户最常用的界面。有6个选项卡（6种功能）Preprocess （预处理）Classify（分类）Cluster（聚类）Associate（关联分析）Select at

27、tributes（属性选择）Visualize（可视化）（2）Experimenter（3）Knowledge Flow（4）Simple CLI,2022年12月29日星期四,第57页，共66页,实战,1.9.2 使用Weka建立决策树模型1.9.3 使用Weka进行聚类1.9.4 使用Weka进行关联分析,【例1.4】,使用Weka为表1.1感冒类型诊断数据集建立决策树模型，并对表1.2中的未知类别的实例进行分类。,2022年12月29日星期四,第59页，共66页,实验步骤,1、准备数据2、加载和预处理数据3、建立分类模型4、分类未知实例,图1.13 感冒类型诊断决策树,图1.14 表1.

28、2中两个未知实例的分类结果,【例1.5】,使用Weka对表1.1感冒类型诊断数据集进行聚类，解释和评估聚类结果。,2022年12月29日星期四,第61页，共66页,实验步骤,1、准备数据2、加载和预处理数据3、聚类4、解释和评估聚类结果,图1.17 感冒类型诊断聚类结果,【例1.6】,使用Weka分析表1.1感冒类型诊断数据集中数据的关联关系。,2022年12月29日星期四,第63页，共66页,实验步骤,1、准备数据2、加载和预处理数据3、关联分析4、解释和评估结果,图1.20 感冒类型诊断数据集的关联分析结果,2022年12月29日星期四,第64页，共66页,本讲小结,图1.21 第1章内容导图,数据挖掘是建立模型，不是魔术！,人类的本性要求我们对周围的世界进行归纳和分类，基于这个原因，模型建立是个自然的过程，有趣而富有意义！,