大规模分布式计算.ppt

《大规模分布式计算.ppt》由会员分享，可在线阅读，更多相关《大规模分布式计算.ppt（30页珍藏版）》请在三一办公上搜索。

1、大规模分布式计算,MapReduce和Hadoop,数据平台与产品部 少杰,变化正在进行,Agenda,分布式计算,需求：大规模数据,为什么使用分布式？,分布式计算,需求：成本？,为什么使用分布式？,分布式计算,并行化的尝试在硬件工艺/技术不变的前提下，提升计算能力更强大的硬件对称多处理器SMP分布式共享内存DSM分布式系统Share diskShare nothing,A brief history,分布式计算,互联网应用的特殊性I/O操作强于计算操作复杂异构的机器环境变化的业务逻辑,新需求,分布式计算,MapReduce分布式编程模型互联网应用的大规模数据计算解决方案,MapReduce,

2、分布式计算,MapReduce的优势简单一致性模型本地I/O优化扩展性,Why MapReduce wins?,分布式计算,应用现状数据分析、报表索引商业智能服务规模淘宝,现状,分布式计算,总结,总结,分布式计算,BREAK,MapReduce编程模型,游戏什么是MapReduce？分布式编程模型,What is MapReduce?,MapReduce编程模型,MapReduce语义Map：映射，空间变换Reduce：汇总，规约,MapReduce methodology,MapReduce编程模型,MapReduce数据结构map(in_key,in_value)-list(out_key

3、,intermediate_value)reduce(out_key,list(intermediate_value)-list(out_value)分布式算法的核心内容,MapReduce methodology,MapReduce编程模型,系统视图系统考量容灾扩展性并行能力Master-slave结构,A systematic view,MapReduce编程模型,系统视图计算消耗网络I/O磁盘I/O排序Map/Reduce计算,A systematic view,MapReduce编程模型,系统视图并行能力子任务间并行M/R任务间并行作业间并行,A systematic view,Map

4、Reduce编程模型,范例web点击日志统计：PV/UV词频统计海量数据排序表Join,Discuss,MapReduce编程模型,MapReduce能做？日志分析商业智能分析客户营销大规模索引MapReduce不能：在线应用复杂依赖逻辑（循环、递归？）MapReduce的数据倾斜问题,What MapReduce can do&cant do,MapReduce编程模型,总结,总结,MapReduce编程模型,Break,Hadoop,开源分布式系统实现系统栈,What is?,Hadoop,Hadoop的历史2003 Google发表有关MapReduce论文2005 Nutch迁移到Ma

5、pReduce实现2006.1 Doug Cutting加入Yahoo！2006.2 Yahoo从Nutch中剥离出MapReduce并开始使用Hadoop2007.1 Yahoo组建1000+节点的Hadoop集群2008.1 Hadoop成为Apache TLP,Hadoop:a brief history,Hadoop,HDFS:分布式文件系统设计原则硬件错误是常态而不是异常流式数据访问 大规模数据集 简单的一致性模型“移动计算比移动数据更划算”异构软硬件平台间的可移植性,HDFS,Hadoop,HDFS特性大容量高容错性高吞吐量HDFS数据模型包块文件,HDFS,Hadoop,MapReduce:分布式计算框架语言支持JavaC+(through pipes)script languages(through streaming)调度模型tasksjobsgroups,MapReduce,Hadoop,编写MapReduce逻辑Javamapper/reducer/combinerpartitionerinputformat/outputformatStreaming高级语言实现HivePig,MapReduce,Hadoop,总结,总结,