流式计算框架分享ppt课件.pptx

,流式计算框架分享,PART TWO主流流式计算框架,PART ONE流式计算定义和特点,PART FOURSpark Streaming和Storm介绍,PART THREE流式计算框架技术路线,内容简介,1,PART ONE,流式计算定义和特点,流式计算是针对连续不断，且无法控制数据流速的计算场景设计出的计算模型，常见的场景有搜索引擎、在线广告等,数据不止，计算不停无稳态数据，计算随数据变化不可控，计算速度随数据速度变化,定义,特点,2,PART ONE,主流流式计算框架,数据传输层Flume：Cloudera开源项目数据计算层Spark Streaming：Apache Spark子项目Storm：Apache顶级项目S4：Yahoo原型产品，未发布Elastic Search：Apche顶级项目，最流行的搜索引擎数据应用层Splunk：商业软件，机器日志分析引擎Druid：大数据实时查询和分析的高容错、高性能开源分布式系统,主流流式计算框架,3,PART ONE,流式计算模型技术路线,技术路线,4,PART ONE,Spark Streaming和Storm,计算模型：D-Stream模型优势：编程原语丰富，编程简单框架封装层级较高，封装性好可以共用批处理处理逻辑，兼容性好基于Spark，可以无缝内嵌Spark其他子项目，如Spark Sql，Mlib等劣势：调度耗时较大，不适合做实时性要求很高的需求稳定性相对较差机器性能消耗较大,计算模型：Actors模型优势：框架简单，学习成本低实时性很好，可以提供毫秒级延迟稳定性很好，框架比较成熟劣势：编程成本较高框架处理逻辑和批处理完全不一样，无法公用代码框架Debug较为复杂,应用场景：日志处理社交网站消息更新推荐系统运维报警配套框架：HBaseHDFSRedis关系型数据库Kafka,应用场景：金融反欺诈，反洗钱在线广告投放配套框架：HBaseRedis关系型数据库Kafka,PPT模板： PPT素材： PPT图表： PPT下载： PPT教程： 资料下载： 范文下载： 试卷下载： 教案下载： PPT论坛： PPT课件： 语文课件： 数学课件： 英语课件： 美术课件： 科学课件： 物理课件： 化学课件： 生物课件： 地理课件： 历史课件：,谢谢！,