大数据采集及预处理课件.ppt

时间反复无常，鼓着翅膀飞逝,大数据采集及预处理,大数据技术与应用国缉大學,第2章大数据采集及预处理国缉大學,导学与要求二、重点、难点放据重点是大数撸采集的概念大数据握大数据采集的数据来源,了解大采集的数据来源和技术方法。难点是大数据预处理的方法。数据采集的技术方法2.了解大数据预处理的方法和了解大数据采集及预处理的常用工具国缉大學,数据采集简介2.1.1数据采集大数据的数据采集是在确定用户自标的基础上,针对该范围内所有结构化、半结构化和非结构化的数据的采集。传统的数据采集大数据的数据妹数据来源来源单一,数据量相对大数据较小来源广泛,数据量巨大数据类型丰富数据类型结构单包括结构化、半结构化、非结构化数据处理关系型数据库和并行数据仓库分布式数据库国缉大學,数据采集的数据来源按照数据来源划分,大数据的三大要来源为商业数据、互联网数据与物联网数据国缉大學,业数据商业数据是指来自于企业ERP系统、备种POS端及风上支付系练等业务系红的数据,是现在最主要的数据来源渠道。国缉大學,互联网数据互联网数据是指网络空间交互过程产生的大量数据,包括通信记录及QQ微信微博等社交媒体产生的数据,其数据复杂且难以被利用互联网数据具有的特点大量化多样化快速化国缉大學,物联网数据物联网是指在计算机互联网的基础利用时频识别、传感器、红外感应器、线数据通信等技术,构造一个盖世界上万事万物的heInternet of Things,也就是“实现物物相连的互联网络”。其内涵包含:物联网的核心和基础仍是互联网,是在互联网基础之上延伸和扩展的一种网络。用户端延伸和扩展到了任何物品与物品之间,进行信息交换和通信国缉大學,状网数据的特点主要包括:物联网中的数据量更大物联网中的数据传输速率更高物联网中的数据更加多样化物联网对数据真实性的要求更高国缉大學,3数据采集的技术方法1.系统日志采集方法很多互联网企业都有自己的海量数据采集工具,多用于系统日志采集,如:Hadoop的 ChukwaCloudera的FumeFacebook的 Scribe国缉大學,41、学问是异常珍贵的东西，从任何源泉吸收都不可耻。阿卜日法拉兹42、只有在人群中间，才能认识自己。德国43、重复别人所说的话，只需要教育；而要挑战别人所说的话，则需要头脑。玛丽佩蒂博恩普尔44、卓越的人一大优点是：在不利与艰难的遭遇里百折不饶。贝多芬45、自己的饭量自己知道。苏联,