方案架构与案例研讨课件.ppt

《方案架构与案例研讨课件.ppt》由会员分享，可在线阅读，更多相关《方案架构与案例研讨课件.ppt（50页珍藏版）》请在三一办公上搜索。

1、方案架构与案例研讨,方案架构与案例研讨,精诚集团提供 Big Data 解决方案的独立品牌在台北与北京设有研发与专业服务团队我们关注的不只是技术，更在意挖掘 Big Data 对企业的商业价值透过软硬件一体的整合，大幅简化与优化企业处理 Big Data 的种种问题,精诚集团提供 Big Data 解决方案的独立品牌,意图与关联充满的 Big Data 世界Etu 帮您具体整合来呈现,意图与关联充满的 Big Data 世界,大数据(Big Data)时代来临,Big Data,People,Devices,Sensors,移动互联网Mobile Internet,物联网Internet of

2、 Things,4,新量级、新处理模式、新企业智能,大数据(Big Data)时代来临StructuredSem,Big Data 要解决的问题,Volume海量的数据规模,Variety多样的数据类型,Value,Velocity快速的数据流转,巨大的数据价值,Big Data 要解决的问题 VolumeVarietyS,6,Social Media,Machine / Sensor,DOC / Media,Web Clickstream,Apps,Call Log,Log,什么是半结构化/非结构化数据,6Social MediaMachine / SensorD,Big Data 带来的挑

3、战,不同“看”数据的方式需要更高性价比的数据计算与储存方式不同的数据管理策略超越企业现有 IT 的数据解决能量,Big Data 带来的挑战不同“看”数据的方式,不同“看”数据的方式,8,可视：结构化资料 15%,未视：半/非结构化数据 85%,DB/DW,主管们看的战情数位仪表板，其实是残缺的,不同“看”数据的方式8可视：结构化资料 15%未视：半/非结,10万 GB,10万 TB,需要更高性价比的数据计算与储存方式,9,数据库,数据仓库,计算更快 存储更省,10万10万需要更高性价比的数据计算与储存方式9数据库数据仓,不同的数据管理策略,当我们想要扩充时，才发觉：架构只能 scale-up

4、， scale-out 不易处理时间过长， time-to-value 受限成本过高， cost-efficiency 受限,15% 结构化的 DB/DW,遗憾,残缺,85%不同的数据管理策略当我们想要扩充时，遗憾残缺,每天几百 GB、 几 TB 的资料，且持续成长中,储存Storing,在收数据的同时做必要的前置处理 (pre-processing)，并区分数据处理的优先等级 (prioritizing),计算Processing,如何有效的避免因硬件毁坏所导致的资料损毁,管理Managing,如何从中挖掘出所关注事件的 pattern 或 behavior,分析Analyzing,超越企业

5、现有 IT 的数据解决能量,11,每天几百 GB、 几 TB 的资料，且持续成长中储存 在收,大数据的储存与处理/运算,大数据储存,大数据处理,数据分享,数据检索,数据分析,数据展现,分布式软件架构并行计算框架,分布式存储横向扩容(Scale-out) 架构,大数据的储存与处理/运算大数据储存大数据处理数据分享数据检索,什么是大数据处理 (Big Data Processing),abc/category.screen?category_id=PLANTS&JSESSIONID=S1FF9ADFF2amazon/gp/product/B005OCFGTO/ref=s9_simh_gw_p14_

6、d0_g74_i5?pf_rd_m=ATVPDKIKX0DER&pf_rd_s=center-2&pf_rd_r=1YN4ES7ZEV17ZRKA858X&pf_rd_t=101&pf_rd_p=4631&pf_rd_i=507846books.tw/exep/prod/china/chinafile.php?item=CN10816425books.tw/exep/prod/china/chinafile.php?item=CN10759096news.yahoo/feds-issue-warning-unconven-sperm-donor-140811851.html,Log file

7、: 1.5TB / day,Hit Count,Word Count,什么是大数据处理 (Big Data Processing),什么是大数据处理 (Big Data Processing),abc/category.screen?category_id=PLANTS&JSESSIONID=S1FF9ADFF2amazon/gp/product/B005OCFGTO/ref=s9_simh_gw_p14_d0_g74_i5?pf_rd_m=ATVPDKIKX0DER&pf_rd_s=center-2&pf_rd_r=1YN4ES7ZEV17ZRKA858X&pf_rd_t=101&pf_rd

8、_p=4631&pf_rd_i=507846books.tw/exep/prod/china/chinafile.php?item=CN10816425books.tw/exep/prod/china/chinafile.php?item=CN10759096news.yahoo/feds-issue-warning-unconven-sperm-donor-140811851.htmlmystore.splunk/flower_store/cart.do?action=purchase&itemId=EST-13&JSESSIONID=SD7SL1FF9ADFFtech.qq/a/20191

9、221/000094.htm24h.pchome.tw/?m=index&f=view&p=24hour&s=nlifeshopping.pchome.tw/?mod=store&func=style_show&SR_NO=DEAO45,177.23.21.50 - - 15/Nov/2019:00:07:45 GET /flower_store/product.screen?product_id=FL- 10http:/mystore.splunk/flower_store/category.screen?category_id=PLANTS rv:1.8.0.10) Gecko/20190

10、223 CentOS/1.5.0.10-0.1.el4.centos Firefox/1.5.0.10 1025 4463192.168.11.38 -,3rd partypre-defined Reporting,Filter,String Truncation,Log file : 1.5TB / day,什么是大数据处理 (Big Data Processing),什么是大数据处理 (Big Data Processing),1.1 TB per-day,600 GB per-day,什么是大数据处理 (Big Data Processing),什么是大数据处理 (Big Data Pr

11、ocessing),177.23.21.50 - - 15/Nov/2019:00:07:45 GET /flower_store/product.screen?product_id=FL- 10http:/mystore.splunk/flower_store/category.screen?category_id=PLANTS rv:1.8.0.10) Gecko/20190223 CentOS/1.5.0.10-0.1.el4.centos Firefox/1.5.0.10 1025 4463192.168.11.38 -,A,B,C,D,X,Y,Z,O,P,Q,A,D,A,C,X,Ev

12、ent Sequence Diagram,RDB data,Event 范例被浏览的网页每笔网络交易所经历的每个程序或系统.,Big Flat Filefor full text search,什么是大数据处理 (Big Data Processing),什么是大数据处理 (Big Data Processing),Signature,Meta Data,Meta Data,Tag Value,Tag Value,App,App,App,App,Media Extraction,File Transformation,什么是大数据处理 (Big Data Processing),什么是大数据处

13、理 (Big Data Processing),Social Media,Machine&Sensor Data,Media,Web Clickstream,Mobile Apps,Call Log,Splunk,BI/ Reporting,CustomizedSolutions,Database /Data Warehouse,什么是大数据处理 (Big Data Processing),Etu知意图的大数据解决方案,大数据储存,大数据处理,数据分享,数据检索,数据分析,数据展现,分布式软件架构并行计算框架,分布式存储横向扩容(Scale-out) 架构,大数据处理的平台解决方案企业的资料云

14、 硬件与软件一体 / 储存与运算合一,Big Data 运算与储存，单一架构解决,Etu Appliance,Etu知意图的大数据解决方案大数据储存大数据处理数据分享数据,20,传统并行计算架构,并行计算 + 分布式存储,运算,储存,传统储存架构,计算与存储一体，计算向数据靠拢，高效专用存储模式为程序员屏蔽通性、并发、同步与一致性等问题任务之间无依赖(share-nothing)，具有高系统延展性 (scale-out),Hadoop 的特性,20传统并行计算架构并行计算 + 分布式存储运算储存传统储存,Hadoop 不只是 Hadoop,Big Data Applications,SQL,R

15、AW,Hadoop 不只是 HadoopHIVEBig Data,关系数据库 vs Hadoop,关系数据库 vs Hadoop,连结关系数据库与 Hadoop,汇入与导出数据Sqoop查询与整合Hive JDBC Driver (Java)Hive ODBC Driver (C+)Hive Add-in for Excel (by Microsoft)Thrift (C/C+, Python, Perl, PHP),23,连结关系数据库与 Hadoop汇入与导出数据23,Hive 简介,由 Facebook 开发架构于 Hadoop 之上, 设计用来管理结构化数据的中间件以 MapReduc

16、e 为执行环境数据储存于HDFS上Metadata 储存于RDMBS中Hive的设计原则采用类SQL语法扩充性 Types, Functions, Formats, Scripts性能与平水扩展能力兼具,Hive 简介由 Facebook 开发,Hive SQL like Hadoop Database,Driver(compiler, optimizer, executor),metastore,Data Node,Data Node,Data Node,Data Node,Hadoop Cluster,M/R,M/R,M/R,M/R,Web UI,CLI,JDBCODBC,Create M

17、/R Job,Hive SQL like Hadoop Databas,Sqoop SQL to Hadoop,JDBC,JDBC,JDBC,Map,Map,Map,HDFS/HIVE/HBase,SQL,Create Map Tasks,Sqoop SQL to HadoopJDBCJDBCJ,Sqoop 支援的 RDMBS,OracleNetezzaTeradataSQL ServerMicrosoft PDWMySqlPostgre SQL,Sqoop 支援的 RDMBSOracle,传统的数据处理流程,营运信息,数据仓库,用户浏览日志,大部份删除,ETL部份资料,传统的数据处理流程营运

18、信息新用户新订单新产品数据仓库用户浏览,探索式的数据处理流程,广告效益分析 ?促销活动分析 ?电子报效益分析 ?,用户浏览日志,营运信息,数据仓库,29,探索式的数据处理流程新用户新订单新产品广告效益分析 ?用户浏,30,Strictly NDA - Microsoft Confidential,Sensors,Devices,Web Log,Crawlers,ERP,CRM,LOB,APPs,Connectors,非结构化数据源,S S RS,SSAS,BI Platform,Familiar End User Tools,PowerView,Excel with PowerPivot,Em

19、bedded BI,Predictive Analytics,结构化数据源,Hadoop,企业的 Hadoop 应用策略,30,30Strictly NDA - Microsoft Con,应用一 : 参照 RDBMS 中的数据表,RDBMS,Customers,WebLogs,Products,应用一 : 参照 RDBMS 中的数据表 RDBMSCust,应用二 : 脱机数据分析,RDBMS,Customers,Products,Sales History,应用二 : 脱机数据分析RDBMSCustomersProd,RDBMS,Sales 2019,Sales 2009,Sales 201

20、9,Sales 2019,应用三 : 历史数据与在线数据交互运用,RDBMSHDFSSales 2019 Sales 2009,应用四 : 利用 Hadoop 进行数据汇总,RDBMS,WebLogs,WebLog Summary,应用四 : 利用 Hadoop 进行数据汇总 RDBMSWe,应用五: 利用 ODBC 连结 Excel & Hive,应用五: 利用 ODBC 连结 Excel & HiveEx,其他应用 - Etu Recommender建构在 Etu Appliance 上的精准推荐系统,Etu Recommender,Recommendation Engine,商品/内容关

21、联性分析,客户行为相似性分析,客户海量量浏览数据,客户交易数据,其他或第三方资料,推荐清单,其他应用 - Etu Recommender建构在 Etu,其他应用 - Etu Recommender建构在 Etu Appliance 上的精准推荐系统,Web Server,User DB,Product DB,Etu Recommender,商品浏览日志,用户数据,产品目录,推荐结果,API,其他应用 - Etu Recommender建构在 Etu,其他应用 - Etu Recommender建构在 Etu Appliance 上的精准推荐系统,Etu Recommender精准推荐应用系统,

22、个人化推荐清单,个人化EDM,个人化账单,百货,零售,流通,银行,连锁,媒体,虚拟通路 (在线),实体通路 (线下),结账,点击,浏览,搜寻,交易,购物车,推荐清单的运用不光只是在线服务,其他应用 - Etu Recommender建构在 Etu,客户应用案例,需求上亿个影像图文件每个影像图文件大小约1020K须集中管理需满足图档的实时调阅与查询现状以SAN Storage来储存与管理所有的影像图文件每个影像文件以档案目录方式来管理以数据库来存放每个图像图文件之特征值 (meta-data)与文件路径, 供使用者查询与搜索,SANStorage,DB,应用程序,应用程序,应用程序,应用程序,其

23、他应用 海量小图档管理,客户应用案例需求SANDB应用程序应用程序应用程序应用程序其,其他应用 海量小图档管理,SANStorage,DB,应用程序,应用程序,应用程序,应用程序,大量的查询与搜索造成SAN Storage接口的效能瓶颈, 响应时间太久,数据库对上亿条数据以上的查询效能不佳无法支持全文搜索无法支撑大量的关连性计算与分析,传统Storage对储存巨量小档案并不合适每日新档案的导入响应时间太慢,其他应用 海量小图档管理SANDB应用程序应用程序应用程,导入Etu Appliance,运用支巨量资料高平行读写和存储之非关系数据库，来储存巨量小图像图檔及其特征值，一次打通所有效能瓶颈,

24、利用内建分布式文件系统作为提供其高可靠性的底层存储支持,图像文件及其特征值导入,应用程序,应用程序,应用程序,支持百亿笔资料之高平行查询,其他应用 海量小图档管理,导入Etu Appliance运用支巨量资料高平行读写和存储,高可靠性线性扩展(scale-out)，轻易快速扩容总持有成本低,高并发与高吞吐率，处理、查询百亿条数据没有问题支持并行计算框架，可满足巨量数据全文搜索与进阶数据分析的需求巨量存储，提供PB级以上储存能立,运用支持海量资料高平行读写和存储之非关系形数据库，来储存巨量小图像文件及其特征值，一次打通所有效能瓶颈,利用内建分布式文件系统作提供其高可靠性的底层存储支持,SANSt

25、orage,DB,应用程序,应用程序,应用程序,其他应用 海量小图档管理,高可靠性高并发与高吞吐率，处理、查询百亿条数据没有问题运用支,Hadoop 平台竞争要素,Hadoop Disruption Vectors,Source: GigaOM Pro, 2019,整合,部署,存取,Hadoop 平台竞争要素Hadoop Disruption,延展：公有云等级的运算架构可靠：电信等级的系统质量效能：企业等级的创新绩效,Etu Appliance 简介Big Data End-to-End Solution in a Box,储存与运算一体，简化与优化的优势机种：10 分钟内可部署 100+ 节

26、点资料撷取能力 1U 胜过 8UBig Data 运算处理最适化,延展：公有云等级的运算架构Etu Appliance 简介,三种数据温度的整合：Hot / Warm / Cold,Hot Data在线结构化数据在线半/非结构化数据,Warm Data在线半/非结构化数据,Cold Data脱机资料,Hadoop-based Solution,SAN / NAS / Scale-out NAS,OLTP,OLAP,三种数据温度的整合：Hot / Warm / ColdHot,软硬件整合,管理维运功能全自动化部署不停机扩充软硬件全面优化中央丛集系统管理中央丛集系统监控完整的高可用性设计,Etu

27、Appliance 主要功能,软硬件整合 管理维运功能Etu Appliance 主要功能,Master node,Worker node,Worker node,Worker node,Worker node,Switch ( 1Gb above),藉由 Worker Node 容易扩充的能力可轻易满足数据量成长的需求,最小 package1 台 Master Node+2 台 Worker Nodes,Etu Appliance 的部属,Master nodeWorker nodeWorker n,Etu Appliance 软件架构,Katta/Lucene,Mahout,HBase,H

28、ive QL,MapReduce,Data Processing Lib,HDFS,Pig,Data Store Layer,Data Processing Layer,Flume,Application Layer,(by SYSTEX),Monitoring,Log Management,Account Management,ConfigurationManagement,Scheduler,High Availability,Search API,Data Source,Hive,Sqoop,Etu OS for Hadoop (by SYSTEX),Etu Appliance 软件架构Katta/Lucene,总结,关系数据库与 Hadoop 的连结是企业导入 Hadoop 的重要关键Sqoop 及 Hive 提供企业延伸信息管理能力及于非结构化信息关系数据库与 Hadoop 皆为工具, 更重要的是整体的解决方案精诚 Etu 团队是您整合 SQL 与 Hadoop 的最佳伙伴,总结关系数据库与 Hadoop 的连结是企业导入 Hadoo,50,技术支持,专业服务,解决方案,面向企业Big Data需求的一站式服务,50技术支持专业服务解决方案面向企业Big Data需求的一,