智慧城市烟草行业云大数据平台解决方案课件.ppt
,Use this title slide only with an image,烟草行业云大数据平台方案,一、国家局烟草宏观政策二、中国烟草业务价值三、烟草行业云大数据整体架构四、平台案例五、附录,一、国家局烟草宏观政策,国家局在行业信息化发展规划中，明确要求“推进大数据技术应用”,大数据将成为行业市场化取向改革的强大抓手和精益营销的有力工具,精益营销,精益生产,精益物流,烟草行业大数据3亿多卷烟消费者，169个卷烟品牌，1325个规格包装500多万零售客户，125亿多条卷烟，每天2亿笔交易数据350个地市级公司，国家局信息中心机房数据17400G每年“一号工程”处理200多亿个数据,市场化取向改革对卷烟营销工作提出更高的要求，进一步强调分析应用智能化的重要性,省级卷烟营销平台,中国烟草在互联网+时代的新一代数据中心建设,互联网+精准营销互联网+智能制造互联网+科学决策,行业“互联网+”的市场化转型升级平台成为“一号工程”升级版的专卖实时管控平台打造未来的中国烟草“大众创业，万众创新”的平台,二、中国烟草业务价值,大数据挖掘为核心实现精益营销,消费行为预测数据挖掘货源精准投放数据挖掘产品生命周期数据挖掘客户聚类分析数据挖掘营销策略分析数据挖掘销售潜力分析数据挖掘,*,Customer,智能物流解决方案和架构,Track & Trace（追踪和追溯）,Hub Logistics （枢纽物流）,TransportationManagement （运输管理）,仓库智能设备,SAP MFS物料流系统,互联设备,SAP NWNetWeaver Process Integration （流程集成平台）,地理信息系统（GIS）, 电信服务提供商,互联设备,SAP HCPHANA Cloud Platform （HANA云平台）,电信服务提供商,端到端的一体化智能物流解决方案流程概览,创建销售订单或交货单(SAP ERP)自动创建运输需求(SAP TM)自动创建货运单元(SAP TM),订单处理(ERP),交互式 / 自动制定运输计划承运人选择承运人招标创建货运订单在ERP中自动生成交货单,运输计划(TM),波次创建装箱计划拣货优化，包装，备货和装车管理增值服务提货单打印,仓库执行(EWM),装运状态检查装运执行监控及事件追踪,运输执行(TM),运费计算创建货运发票请求并传输到ERP,货运订单结算 (TM / ERP),集成的外向发货流程 TM EWM,三、烟草行业云大数据整体架构,中国烟草云数据中心的未来总体架构,BOE平台,业务主题层,源系统,分析主题,分析应用,财务分析,原始数据层,业务数据层,业务数据层,企业原始业务层,企业业务数据分析整理层,企业经营决策支持应用层,SAP IS 元数据管理 平台,SAP HANA 平台,SAP BOE 平台,BO图表,KPI管理工具,管理驾驶舱,门户,企业门户,项目分析,采购分析,网点分析,成本分析,生产分析,关键指标分析,用户自主配置工具,烟草业务监控系统,烟草业务运营/支持类系统,EAM,HR,SRM,指标数据层,指标数据层,财务分析主题,物资分析主题,销售分析主题,.,数据获取,数据存储与处理,数据分析,Hadoop平台,中国烟草云数据中心系统建设,建立统一数据采集平台进行数据管控、数据分发、数据质量等的统一管理，建立各业务系统与数据存储层的数据交换渠道采用全新的数据库平台技术，提供实时数据查询能力，帮助用户更方便快速建立数据模型在底层平台建设的基础上，使用专业展现工具进行数据呈现/数据分析/数据挖掘，为企业运用运营数据提供支持,企业数据交互层,超过3000家企业客户选择SYBASE RS搭建关键业务系统的实时复制环境，包括：异地数据存储，提高灾备数据保护提供关键应用的业务连续性保护卓越的复制性能，降低数据从源到目标的时间灵活的定义、不受限的扩展性，满足业务扩展需求应用分离方案，备点提供报表、查询功能，减少生产点系统压力,SAP Sybase Replication Server 企业级数据复制服务器,Wall Street,Public Services,Retail & Logistics,Replication Server (RS) 的功能,连续，实时改变数据的抓取基于日志 Log-based (对生产系统影响非常小)在复制拷贝中维护完全的事务完整性支持异构（异种）数据库双向复制 (从源到目标且反之亦然)通过Sybase实时事件触发，发送改变的数据到消息总线 message bus可定制的冲突检测/解决计划具有存储转发的容错机制管理和监控工具,1001010101010101010110101010101010001,信息量更大，传输速度更快,复制服务器的优势,开放! 支持Sybase, Oracle, SQL Server, DB2等各种主流的数据库灵活! 灵活的数据传输定义和订阅高效! 最有效的传输内容,降低网络负载,提高传输效率可靠! 提供了丰富的数据传输保障机制,如断点续传等,保障传输可靠TCO! RS可独立运行在一台独立服务器上,不局限于数据库的平台限制,SAP提供最佳EIM解决方案传递完整，准确，容易访问的信息,Data Integration & Quality Management:SAP BusinessObjects Data ServicesSAP BusinessObjects Data FederatorSAP BusinessObjects Text AnalysisSAP BusinessObjects Data InsightSAP Data Migration services,Master Data Management:SAP NetWeaver Master Data Management SAP Master Data Governance for FinancialsSAP Data Maintenance by Vistex,Enterprise Data Warehousing:SAP NetWeaver Business WarehouseSAP NetWeaver Business Warehouse AcceleratorSAP BusinessObjects Rapid MartsSAP BusinessObjects Metadata Management,Content & Information Lifecycle Management:SAP NetWeaver Information Lifecycle ManagementSAP Extended ECM by Open TextSAP Document Access by Open TextSAP Archiving by Open Text,整合,改善,洞察,治理,CustomerProductSupplierMaterialEmployee,第一个、也是唯一的数据整合、数据质量、数据治理和文本数据分析的集成平台,SAP BusinessObjects Data Services 数据整合、数据质量、和文本分析,数据整合(Data Integrator),原始未经处理的数据,以合适的格式或者结构装载到目标,数据抽取 & 数据转换,Data Services,异构数据源,一个或者多个目标,内建企业级数据和应用访问接口,HANAOracleDB2 (LUW, z-series, i-series)Sybase ASESybase IQSQL ServerInformixMySQLTeradataODBCHP NeoViewNetezza,SAP Bus SuiteExtractorsABAPBAPIIdocSAP NW BWJD EdwardsOracle AppsPeopleSoftSiebelS,Text delimitedText fixed widthEBCDICXMLCobolExcelHTTPJMSSOAP(Web Services)HADOOP,ADABASISAMVSAMEnscribeIMS/DBRMS包括直接的和变化的数据,任何来自六种语言的文本文件类型扩展到31种语言扩展到docs, pdfs, ppts等等(4.1 SP1),数据库,应用程序,文件/传输,大型机(合作伙伴),非结构化内容,SAP Data Services 在向数据库，应用程序，遗留系统，文件格式等提供广泛连接方面具有悠久的历史,Reference Data Services PAM for additional details http:/,实时,物理数据整合,语义层,批作业,评估,治理,提升,数据质量管理(Data Quality),提高数据质量的流程：评估（理解数据质量的问题）分词清洗（地址或者其他数据）信息补全匹配合并持续观察,典型应用场景组织和企业在合并过程中，系统间主数据的合并建立真正干净、完整的重要信息（如客户，供应商，产品等等）资料库资源、资产管理的必要手段,数据质量管理核心流程,SAP BusinessObjects Information Steward 功能概览,数据质量记分卡数据质量监控数据剖析,数据血统变化影响,清洗规则,业务术语表,数据质量评分指标,最新的数据质量得分,数据质量趋势,从一个数据属主角度衡量数据质量的记分卡,关键质量维度（数据质量KPI）,下钻查看记分卡细节,数据洞察力：面向数据质量的记分卡方法,SAPBW,数据仓库,E T L,源系统,同时支持关系型数据仓库以及专业数据仓库产品如SAP BW，提供端到端的元数据解析能力。,端对端的元数据生命周期管理,非结构化的文本分析 Text Data Processing,一旦数据结构化后 整合查询 分析 可视化 报表,释放文本信息的力量、获取商业洞察力,处理非结构化的文本数据,从非结构化数据中抽取数据，并建立结构化数据,自动识别和抽取实体数据,自动识别和抽取事件数据,支持用户建立客户化的实体数据字典,非结构化的文本信息,理解语义信息,Text Data Processing 架构,Data Services,Text Data ProcessingEntity Extraction,Data Services Designer,建立TDP作业,数据源,用于查询和分析的语义层,终端用户程序或者仪表盘,ETL 设计人员,业务用户,实体, 概念, 敏感词,DQ Transforms,目标,释放信息的力量首创的、并且是唯一的内置了非结构化数据支持的企业级数据整合，数据质量和数据剖析应用通过直观的业务用户界面，使得用户能够掌控数据，定义数据标准唯一一个能够支持非结构化数据源的工具，拓展您的数据视野,成就卓越运营降低成本，加速实现产品利润，简化IT基础设施，这一切均可通过一个简单易用的产品来实现，并且实现最低的总拥有成本将用户和开发的效率提至最高，通过转换组件和对象的重用，简化系统的运维对SAP系统和非SAP系统实现最深入的整合，实现最低的成本和最快的价值实现速度,访问支撑关键业务流程所需的相关数据，无论这些数据时什么类型、什么来源、属于什么领域,提升业务决策和业务流程中的数据信心，从而实现业务的更好运营,只需支持和维护一个应用，从而实现更低的总拥有成本,提供最值得信赖的信息无论数据来自何种行业，哪个地点，还是不论是关于客户、产品、物料等哪个领域，Data Services 4.0都提供了访问和提高数据质量的最完整方案。通过影响分析和数据血统分析，提供随时可用的数据追踪能力，帮助用户作出信心十足的决策共享数据质量仪表盘，监控并发现数据质量对治理规则和标准的符合程度变化趋势,SAP BusinessObjects Data Services 4.0,数据存储层,SAP HANA(High-Performance ANalytic Appliance),MDX,SQL,BICS,SQL,数据建模,实时数据复制,数据抽取,SAP HANA,其他应用,SAP BusinessObjects,Sybase,Mainframe,第三方系统,内存计算引擎,计算及计划引擎,行/列存储,什么是SAP HANA预置的分析设备基于内存的软件预装在硬件设备中软件-SAP IMCE包含数据建模、数据管理、安全管理及操作的工具数据复制服务器、ETL 及SAP BOBJ协同工作支持多种客户端应用预置内容包（抽取器及数据模型）功能对海量数据进行的高速实时分析基于历史以及实时数据，创建灵活的分析模型减少数据重复新一代应用的基础,SAP HANA是一项在本地内存中分析海量数据的技术，能够在刹那间获得复杂的分析与交易结果，实时完成业务决策，毫无延迟,增量数据处理,Discrete,SAP内存计算 - 技术的协同创新,硬件,多核处理器架构 (每台刀片8 x 8 核 CPU, Xeon 7650),64bit 地址空间 单台扩展到2TB,(理论达4EB)100GB/s 数据传输,行+列存储,压缩 5-20倍,分区：大量数据，复杂计算,多台服务器并行运行每台服务器的价格低廉,动态聚集,软件,今天,未来,价格迅速下降，性能迅速提升,Cache,Disk,Memory,In-Memory,Disk,Integrated,秒级处理实时决策RDBMS: 行存储，速度取决于磁盘IO 慢HANA: 行、列存储，完全存于内存 快 大规模数据运算RDBMS: 索引、优化、有经验的开发人员 难HANA: 内存排序，无需考虑优化 易 并行处理，低成本运行RDBMS: 专门的数据库服务器 贵HANA: 普通PC服务器 省,HANA比传统数据库具有极大的优势快、易、省,HANA 三大特点之一： 极速速数据访问 - 比磁盘快1000000倍,“到2012年, 70% 的全球1000强企业会将明细数据导入内存，以提升商务智能应用的性能。” - Gartner,传统数据库磁盘读取5毫秒,内存数据库内存读取5纳秒,基于主内存的并行处理是绩效改善的关键* “磁带已经死了，磁盘已经落伍，闪存成为存储，内存才是王道 ” 数据库奠基人Jim Gray 2006年12月,HANA三大特点之二：分而治之、并行处理,数 据,本地内存、多处理器并行处理，把大数据量和计算量分散到不同处理器节点间并行处理，不同的服务器之间也共享同一组数据容灾性，单一的服务器的DOWN机将不影响任何计算,HANA三大特点之三：在内存中思考，在内存中行动 最小化数据传输,传统应用将数据密集型操作在应用层执行,高性能的应用将数据密集型操作转移到内存中执行,内存计算-将数据密集型操作放到内存中-避免传输细节数据- 先计算，而后传输结果,自2010年发布以来，HANA的卓越性能无与伦比,提高 1,000 倍： 许多分析流程 （催款、账龄）提高 10,000 倍：农夫山泉、Essar、SAP IT、康奈尔大学提高 100,000 倍：Yodobashi或者从 24 小时以上减少到 3.8 秒: 食品饮料 / 分销 物流从 15 小时以上减少到 4.8 秒: 项目管理 / 服务 利润, 绩效从 30 天减少到 28 秒: 制造业 订单到付款从 3 天减少到 2 秒: 零售 / 保险 奖金,SAP的HANA架构，结合了云计算和内存计算技术，显示了先进的、具备潜在颠覆性的愿景 高德纳咨询公司 SAP 用HANA引领下一代架构竞争， 2011年10月,在1.3TB的数据上，每小时运行1万个查询，并在几秒种之内返回结果。由WinterCorp公司独立审计和验证，2011年3月,SAP客户实证：,分析展现层,SAP BI 产品概览一个满足各方需求的统一数据分析平台,数据探查(敏捷分析),仪表盘,报表与分析,访问: 门户 | 办公软件（Office） | 浏览器 | 移动设备,On Premise,支持多种设备接入,支持多种部署模式,Lumira数据探索（Explorer*）分析（Analysis*）,Design Studio仪表盘（Dashboards）,即时查询（Web Intelligence）水晶报表（Crystal Reports）,BI 应用场景,分析并可视化由多处获得的数据在Excel中分析数据并可视化在企业数据中“搜索”与分析,最终用户利用预先定义的组件组装自己的交互仪表盘创建高可视化、高交互的面向高层人员定制的高可视化、高交互的分析内容,自助的企业数据分析及创建报表在不同范围内共享信息高度格式化报表,数据探查,仪表盘,报表与分析,Lumira数据探索（Explorer*）分析（Analysis*）,Design Studio仪表盘（Dashboards）,即时查询（Web Intelligence）水晶报表（Crystal Reports）,对应组件,交付方式,对应组件,对应组件,交付方式,应用要求,BI 平台,BI suite与Lumira的关系,报表,仪表盘,分析,水晶报表即席查询,DashboardDesign Studio,数据探索,平台,客户端,BI工具,数据源,语义层,数据源,数据建模,数据分析,分析共享,查看平台,敏捷可视化的4个步骤,SAP大数据预测分析专为业务用户设计,数据挖掘/统计学/概率学 专业知识,无,低,高,97%,3%,1%,SAP 大数据预测分析,SAP PA 智能建模+Lumira自助探索,SAP PA 专家建模,R语言,SAP HANA 分析函数包,SAP IQ,数据展现,BO仪表盘,Lumira自助探索,其它应用系统,SAP ERP,SAP大数据预测分析系统架构 敏捷分析+内存数据库+自助探索,移动可视化,第三方数据,SAP CRM,Predictive Analysis Libraries | Business Function Libraries | Data Models & Stored Procedures,SAP Predictive Analytics 数据挖掘自动化,大数据内存分析平台,数据驱动,SAP HANA,DataServices,数据存储,数据建模与分析,/Hadoop,数据挖掘和预测：直观的可视化应用，丰富的预置预测模型SAP PA大数据预测分析解决方案,方案价值：自动数据准备和探索、完整的数据挖掘过程、强大的预测算法库直观地设计复杂的预测模型，可视化分析丰富的建模技术，可扩展的预测模型：关联分析聚类分析决策树分析神经网络分析例外分析回归分析时间序列分析概率分布,聚类分析,决策树分析,神经网络分析,例外分析,时间序列分析,多元回归分析,数据挖掘和预测：高效的内存预测分析，支持外部算法调用SAP PA大数据预测分析解决方案,方案价值：结合了SAP HANA内存分析的深度、性能，支持多种高级分析和预测场景，高效快速地获取结果，实现大数据的挖掘通过集成R语言，在SAP HANA中访问3,500种以上的开源算法内置于业务应用中，扩展到BI和报表中，对事务的洞察结果，可立即传送到仪表盘、警告提示和移动终端，使业务相关人员都能灵活获取预测洞察力 与BI平台的一体化设计，通过任何 BI报表或仪表盘均可访问分析结果,数据挖掘和预测：自动数据准备和探索SAP PA大数据预测分析解决方案,方案价值：自动数据准备和探索，包括上千个变量并自动找到重要的指标 在几小时内创建和部署模式，而不是数周可以支持日常决策、解答传统模型因市场响应速度慢而无法解决的商业问题自动实现选择变量准备数据变量编码缺失值处理奇异值处理匹配模型测试模型模型报告模型部署,商业问题,选择变量,准备数据,建模,模型测试,理解,应用,选择商业问题最相关的变量，以适合算法需要,SAP：自动决定重要变量，多至几千个变量,用不同算法进行建模，选择不同的参数,SAP：结构风险最小化理论自动选优,把数据语言转换成商业描述,SAP：独特的专利技术,准备数据：缺失值处理，异常值处理，函数变换,SAP：自动化预处理,数据挖掘和预测：精简的预测分析应用函数建模工具 (AFM)SAP PA大数据预测分析解决方案,方案价值：图形化用户界面，用于创建基于函数和PAL算法的程序模型将存为存储对象，可以在多个应用间重复使用可用函数放置在拖拽列表中简单选取输入/输出表、参数、以及过滤器，并生成程序无需编写SQL语句代码，就可创建基于PAL函数的程序快速开发和部署预测应用简单易学的编辑器，使应用开发过程更高效率、有成效、出成果,四、平台案例,Real-Time Infrastructure Meets Real-Time Information,华为IT副总裁任志鹏与SAP CTO Bernd 在华为深圳总部，2013 Q4,2012,2013,2014,全球领先的ICT提供商拥有业界最优秀的研发团队 以及研发实力,郑叶来(华为IT产品线总裁)与Alex Atzberger(SAP SVP) 会面，建立正式合作伙伴关系,Jim Snabe(SAP CEO)到访华为总部，与任总(华为CEO)及徐直军(华为轮值CEO)会谈，确定了双方合作的方向和目标,华为战略与Marketing总裁和SAP co-CEO Jim Snabe, 华为和SAP共同宣布双方新层次合作伙伴关系 , CeBIT2014,强强联手合作,企业级软件的领导者 商业智能软件的供应商,全球最快的SAP HANA解决方案,SAP HANA优势总结,唯一有超大规模HANA集群成功实践经验的厂家，华为积累了丰富的实施交付和运维经验。案例：中国石化9节点18T集群，SAP 中国研究院15节点30T集群，华为2套*16节点 16T集群，中国石油63T HANA集群华为有基于本土更强的故障响应、服务保障团队，能深入到操作系统源代码级快速定位问题。其它国外厂家复杂问题需要升级海外处理，响应不及时。高可靠：采用分布式架构，计算和和存储分离，相互不影响，比IBM合一架构，华为方案更可靠；高性能：采用56Gbps Infiniband存储网络和NVDIMM内存缓存，整个方案端到端延时最低，吞吐能力较友商提升数倍。复杂查询较友商性能提升5倍，数据加载和生成性能提升1.5X省空间：HANA内存密度更高，节省机房空间近70%省Opex：采用融合基础设施，集中监控，自动化运维节省Opex30%,SAP HANA解决方案全球参考案例,
