大数据算法综述.ppt

,数据挖掘算法综述,张娴,大数据概述,数据挖掘算法分类,经典算法简介,1,2,3,大数据概述,大数据概述,大数据是指无法在一定时间范围内用常规的软件工具进行捕捉、管理和处理的数据集合。是由于目前存储和计算模式与能力不能满足存储与处理现有数据集规模的需求而产生的相对概念。,大数据平台的设计,数据挖掘算法分类,数据挖掘,大数据的挖掘是从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识的过程，也是一种决策支持过程。大数据的挖掘常用的方法有分类、回归分析、聚类、关联规则、神经网络方法、Web 数据挖掘等。这些方法从不同的角度对数据进行挖掘。,数据挖掘算法分类,数据挖掘算法分类,经典算法简介,ID3算法,决策树是一种依托决策而建立起来的一种树。在机器学习中，决策树是一种预测模型，代表的是一种对象属性与对象值之间的一种映射关系，每一个节点代表某个对象，树中的每一个分叉路径代表某个可能的属性值，而每一个叶子节点则对应从根节点到该叶子节点所经历的路径所表示的对象的值。决策树仅有单一输出，如果有多个输出，可以分别建立独立的决策树以处理不同的输出。,ID3算法,ID3算法是决策树的一种，它是基于奥卡姆剃刀原理的，即用尽量用较少的东西做更多的事。在信息论中，期望信息越小，那么信息增益就越大，从而纯度就越高。ID3算法的核心思想就是以信息增益来度量属性的选择，选择分裂后信息增益最大的属性进行分裂。该算法采用自顶向下的贪婪搜索遍历可能的决策空间。,ID3算法,ID3算法,ID3算法,C4.5算法,C4.5相比于ID3改进的地方有：1、用信息增益率来选择属性。2、在树构造过程中进行剪枝，在构造决策树的时候，那些挂着几个元素的节点，不考虑最好，不然容易导致overfitting。3、对非离散数据也能处理。4、能够对不完整数据进行处理。,K-Means算法,K-Means算法是聚类算法，k在在这里指的是分类的类型数，所以在开始设定的时候非常关键，算法的原理是首先假定k个分类点，然后根据欧式距离计算分类，然后取同分类的均值作为新的聚簇中心，循环操作直到收敛。,K-Means算法,Apriori 关联算法,Apriori算法学习数据的关联规则(association rules)，适用于包含大量事务（transcation）的数据库。关联规则学习是学习数据库中不同变量中的相互关系的一种数据挖掘技术。,Apriori 关联算法,基本的 Apriori 算法有三步：1、参与：扫描一遍整个数据库，计算1-itemsets 出现的频率。2、剪枝：满足支持度和可信度的这些1-itemsets移动到下一轮流程，再寻找出现的2-itemsets。3、重复：对于每种水平的项集一直重复计算，直到我们之前定义的项集大小为止。,THANKSFOR YOURLISTENING,Q&A,