大数据培训ppt课件.pptx

,为什么我们要关注“大数据”？,2015年3月，马云做为德国汉诺威IT博览会(CeBIT)全球唯一受邀演讲企业家代表 “中国创造”引领关注！马云认为，D！economy与其说数字经济，不如说是数据经济。未来三十年，因为数据经济，人类社会将会真正进入巨大的变革时代。“未来的世界，我们将不再由石油驱动，而是由数据驱动；生意将是C2B而不是B2C，用户改变企业，而不是企业向用户出售因为我们将有大量的数据!,目录,华尔街日报将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大技术变革。麦肯锡公司的报告指出数据是一种生产资料，大数据是下一个创新、竞争、生产力提高的前沿。世界经济论坛的报告认定：大数据为新财富，价值堪比石油。,大数据时代来临,大数据就在我们身边！,2013 年中国产生的数据总量超过0.8ZB（相当于8亿TB），2 倍于2012 年，相当于2009 年全球的数据总量。预计到2020 年，中国产生的数据总量将是2013年的10倍，超过8.5ZB。（来源:ZDNET数据中心2013：硬件重构与软件定义年度技术报告）最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB，它们按照进率1024（2的十次方）来计算：-8 bit = 1 Byte-1 KB = 1,024 Bytes-1 MB = 1,024 KB = 1,048,576 Bytes-1 GB = 1,024 MB = 1,048,576 KB-1 TB = 1,024 GB = 1,048,576 MB- - 1 DB = 1,024 NB = 1,048,576 BB,BAT之大数据百度,根据公开的信息，作为全球最大的中文搜索引擎，百度每天响应来自138个国家和地区的数十亿次请求，百度每日新增数据10TB，要处理超过100PB的数据，从浩如烟海的信息中精确抓取约10亿网页，同时索引库还拥有千亿级在线索引能力，以帮助用户完成搜索过程。面对海量的大数据，百度正在通过自建数据中心，开发了自己的大数据存储系统，并使用了多项新技术。计划投资47.08亿元的百度云计算（山西阳泉）中心已于2012年8月奠基，该项目预计2015年完工。建成后的百度云计算（山西阳泉）中心数据存储量将超过4000PB，可存储的信息量相当于20多万个中国国家图书馆的藏书总量。,BAT之大数据腾讯,2013年，腾讯QQ拥有亿用户，亿移动用户，在数据仓库存储的数据量单机群数量已达到4400台，总存储数据量经压缩处理以后在100PB左右，并且这一数据还在以日新增200TB到300TB，月增加10%的数据量不断增长，现在正在为1000个PB做准备。亚洲最大的数据承载中心，腾讯天津研发与数据存储中心总建筑面积9.33万平方米，服务器托管能力超过10万台。,什么是大数据？,维克托迈尔-舍恩伯格、肯尼斯库克耶的大数据时代：大数据的4V特点：Volume（大量）Velocity（高速）Variety（多样）Value（价值）,大数据商务智能的应用和技术,大数据商务智能的应用和技术,大数据商务智能的应用和技术,大数据商务智能的应用和技术,大数据商务智能的应用和技术,发展前景,就业前景,当国家从国家战略的高度去推动大数据产业的前进，对于一个蓬勃兴起的新型产业来说是一个巨大的机会，也是对于我们每一个能够赶上大数据时代的人的一个机会！ 中国有近14亿人口，960万平方公里，无数家IT企业。比如每一个人点击一下微信，微信后台就会产生超过14亿次的点击量及行为轨迹，不一而足所以我们一直生活在大数据的周围，前景非常广阔！,就业要求,学习？,如何学习？自学老师帮忙学习那些内容？ Apache、Linux、DB,Apache Hadoop,Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。,Apache Hadoop 生态圈,Apache Hadoop 生态圈,