烟草行业数据中心基本介绍ppt课件.ppt

《烟草行业数据中心基本介绍ppt课件.ppt》由会员分享，可在线阅读，更多相关《烟草行业数据中心基本介绍ppt课件.ppt（35页珍藏版）》请在三一办公上搜索。

1、数据中心基本介绍,中软国际2008.06,数据中心在烟草,什么是数据中心？,在线联机分析OLAP,数据挖掘,数据展现,数据仓库,商业智能系统,管理决策,电子商务,电子政务,ERP,市场信息,信息系统层,数据中心（data center 简称DC）是商业智能应用在烟草行业发展应用的特定叫法，从商业智能的角度理解数据中心，烟草行业信息化建设发展到一定程度，具有一定的数据积累，并以数据仓库（Data Warehousing）、联机分析处理（OLAP）、数据挖掘（Data Mining）等技术为基础，以数据集中、查询、分析、知识发现为手段，采用的一系列方法、技术和软件的总和。,数据,E 抽取,T 转换

2、,C 清洗,L 装载,数据存放层,数据分析层,知识分析层,战略决策层,数据中心在烟草,数据烟草发展纲要统一平台、统一数据库、统一网络、统一行业数据中心建设。数据中心建设要在保证不同业务系统数据相对独立的基础上，建立数据交换和共享机制，通过对数据的加工、清洗、传递和交换，实现行业公用数据的标准化、一致化，建成基于不同类型业务主题的高水平数据应用环境，实行数出一门，信息共享。行业要建设国家局（总公司）、省级局与工业公司、基层工商企业三级数据中心，逐步向上集中。在国家局（总公司）数据中心的统一管理下，要通过数据整合，按照一定的规则和权限，在行业内部实行各取所需、授权访问，做到信息共享。烟草行业数据中

3、心建设实施意见行业数据中心建设的总体目标是：构建以信息资源标准为基础的数据交换平台、数据存储平台和信息服务平台。通过数据的收集、存储、加工，产生全面、准确、及时的信息资源，实现资源整合，信息共享；通过信息资源的分析、决策、执行、反馈，建立全面准确量化的管理体系，实现管理从定性向定量、由静态向动态、由事后向实时的转变，提升行业经营管理水平，提高行业整体竞争实力。,5,数据中心建设思路,烟草行业数据中心建设实施意见,烟草行业数据中心由国家局和省级公司两级数据中心构成，由信息资源标准、数据交换服务、数据加工存储、数据分析应用和信息安全保障五个基本体系组成，应用包括国家局、省级公司和工商企业三级用户。

4、,把握基础信息就等于把握信息化建设,价值,数据集成,统一交换,信息整合,辅助决策,建立企业内部统一的信息资源标准，统一企业内部的数据口径与理解，提高数据质量，同时为后续建设系统提供指导。,信息集成，建立中心数据库。通过数据中心项目中的中心数据库建设，统一数据出口，进行数据管理，实现数出一门。,实现数据采集渠道统一，消除信息孤岛。避免大量私有接口，减少后续系统开发的复杂度，避免牵一发动全身现象，保持业务系统独立性,建立数据中心，梳理业务流程，打破系统边界、职能界限，实现有效的信息整合。,实现数据向知识的转换，充分体现事前预测、事中监控、事后分析原则。,统一规范,建立企业内部统一的信息资源标准，统

5、一企业内部的数据口径与理解，提高数据质量，同时为后续建设系统提供指导。,响应国家局几个统一的要求,能够真正有效的管理信息系统,使企业内部规范,为企业高层领导服务提高系统肯定率,整体构架,数据运行保障体系,信息资源标准体系,数据交换服务体系,数据源,数据存储加工体系,企业内部数据,数据分析应用体系,行业平台,数据传输通道,卷包数采,MES数据,ETL工具,报表，OLAP分析,企业级数据仓库,代码中心,其他,录入导入,数据中心架构,能源系统,制丝集控,其他系统,9,9,中软国际在数据中心项目中做什么？,工艺过程质量效率可控柔性化生产随需应变,重点难点,卷烟生产供应链的启发：让用户明确工作及定位,利

6、用各种工具搭建数据中心加工环境，分析业务及用户需求建立各种分析及应用,做的事情：,搭建“加工环境”的产品比较,ArcplanBusiness Objects XIMSTR润乾报表,数据源,抽取、转换、加载,业务数据集市,企业数据仓库,IBM DB2 UDBOracle Enterprise,ETL,元数据,前端分析展现工具,查询工具、应用,Informatica PowerCenterIBM DatastageWII存储过程,DB2 CubeviewHyperion Essbase,11,公司数据中心优势,融入数据管控的思想，可保障数据质量数据是数据中心建设的核心，质量是数据中心建设的灵魂,国

7、家局的战略伙伴，了解行业趋势，熟悉业务，可建设前瞻性项目保持项目建设的鲜活性,与各公司相比案例最多，可借鉴的项目经验多在多个数据中心建设项目中获得启发，取长补短,不仅有自己的产品，可灵活利用非本公司产品灵活应用各种相关产品,12,系统目标,2.信息资源标准管理系统设计,统一信息资源管理是烟草数据中心系统建设的基础。在项目建设中，必须建立一套信息资源标准管理体系以及与此相适应的工作机制，对烟草所使用的代码和信息资源进行统一的管理。通过基础代码、指标体系、信息资源的统一，形成数据交换和数据应用的支撑，为系统集成、信息共享打好基础。,13,信息资源标准管理体系,数据元标准库,编码标准库,数据交换标准

8、库,数据元标准管理,信息编码标准管理,数据交换标准管理,建设内容,2.信息资源标准管理系统设计,维护,查询,注册,审批,发布,数据元标准框架,关键指标元标准,维护,查询,申请,审核,发布,服务,管理维护,表示标准,传输标准,接口标准,报文格式标准,14,2.信息资源标准管理系统设计,建设作用,OLAP分析,企业数据模型 多维数据模型,查询引擎,数据挖掘,RDBM,系统1,系统2,系统n,操作环境层,数据仓库层,业务层,信息资源标准,1.数据集成所必需的 2.帮助最终用户理解数据仓库中的数据 3.保证数据质量的关键 4.方便维护，支持需求变化,数据仓库,15,系统功能,2.信息资源标准管理系统设

9、计,16,建模思路,3.数据模型设计,事实表,划分数据 中心范围,逻辑模型设计,分析 业务,数据仓库模型设计,数据集市模型设计,物理模型设计,维表事实表,建立主题的EIR,17,主题示例,3.数据模型设计,商业企业卷烟购、销、存分析,商业企业卷烟流向分析,商业卷烟零售价格分析,数据模型示例卷烟销售主题,烟叶管理,卷烟销售,卷烟生产,18,4.数据模型设计,表,日期制丝牌号产品路线批次班次班组实际生产量,产品路线,制丝日生产执行,产品路线代码产品路线名称,日期,日期代码日期名称月份代码月份名称年份代码年份名称,班次表,班次代码班次名称,班组表,班组代码班组名称,制丝牌号,牌号代码牌号名称,制丝批

10、次,制丝批次代码烟丝牌号日期代码,19,维表与事实表分布 二,4.数据模型设计,雪花模式：星型模式的维度进行进一步规范化时，星型模式就演进为雪花模式。,产地表,年月日仓库代码烟叶代码烟叶年限购进数量,仓库表,仓库代码仓库名称所属单位上级单位仓库容量,烟叶编码表,烟叶代码烟叶名称等级代码产地代码,产地代码产地名称产地类型,等级代码等级名称烟叶类型英文表示,等级表,烟叶购进表,20,1、建立数据集成与交换平台的两级部署 2、横向：实现地市各系统的信息共享与交换 3、纵向：实现国家局省市各系统的数据交换与共享,数据集成与交换平台,省公司数据中心,分析应用,省,地市,其他应用,信息服务,数据集成与交换

11、平台,销售,烟叶,应用,应用,应用,信息服务,数据集成与交换平台,销售,烟叶,应用,应用,应用,数据交换,数据交换,市局（公司）A,市局（公司）B,两级数据交换平台,数据交换服务体系建设,21,4.数据采集设计,信息资源标准管理系统,数据元标准管理,数据编码标准管理,数据交换标准管理,数据交换平台/ETL,标准格式,业务数据库1,标准,数据,业务数据库n,标准,数据,数据仓库,规范数据,抽取,装载,校对,清洗,集成,转换,数据质量,清洗规则,业务分析,模型格式,转 换,22,数据ETL建设内容,4.数据采集设计,数据采集的关键点：建立采集、上报、传输、接收监控机制，实现采集过程监管 建立数据质

12、检机制，提供数据准确性检查手段 提供远程访问手段，实现人工远程调控系统运行 提供远程日志自动收集机制，定期分析系统运行 提供软件自动更新机制，降低系统维护成本 提供软件版本监控机制，确保软件远程统一部署 提供基础代码和基础业务指标自动同步机制，确保数据采集正常运行,23,数据源分析,4.数据采集设计,1.0,2.0,3.0,4.0,5.0,调研业务系统，确定基础数据分布 有哪些数据源？这些数据源是如何组织的？数据源互相之间的关系是什么？这些数据源是如何分布的？整理数据源结构，确定基础数据项包括哪些数据项，列举所有数据项每一个数据项的数据类型、精度从业务角度，确定每一个数据项的业务含义对于指标类

13、型的数据项，确定其当前使用的计量单位，以及这种指标的标准计量单位,24,数据源分析,4.数据采集设计,1.0,2.0,3.0,4.0,5.0,数据范围,制丝BOM数据卷包BOM数据烟叶BOM投料烟叶单耗制丝单耗制丝日生产执行卷包日生产执行。,MES数据,成品烟销售数据,销售数据,制丝在线质检数据,制丝在线质检,卷包机台停机数据卷包机台剔除数据卷包质检在线数据,卷包数采,能源COD数据能源消耗数据蒸汽流量数据,能源数据,25,采集数据表结构设计,4.数据采集设计,2.0,3.0,4.0,5.0,1.0,建立采集表数据结构时，可综合考虑采集的数据量、效率要求、前置机性能、被采集数据结构的稳定性等因

14、素，选择不同的采集表数据结构：表结构相同的平行采集还是进行整合后的汇总、合并采集 固化的实体表还是灵活的动态定义表,26,采集数据表结构设计,4.数据采集设计,2.0,3.0,4.0,5.0,1.0,建立采集表数据结构时，可综合考虑采集的数据量、效率要求、前置机性能、被采集数据结构的稳定性等因素，选择不同的采集表数据结构：表结构相同的平行采集还是进行整合后的汇总、合并采集 固化的实体表还是灵活的动态定义表,27,采集数据表结构设计,4.数据采集设计,2.0,3.0,4.0,5.0,1.0,建立采集表数据结构时，可综合考虑采集的数据量、效率要求、前置机性能、被采集数据结构的稳定性等因素，选择不同

15、的采集表数据结构：表结构相同的平行采集还是进行整合后的汇总、合并采集 固化的实体表还是灵活的动态定义表,28,数据采集机制设计,4.数据采集设计,3.0,2.0,4.0,5.0,1.0,联机采集（ETL）对于关系型数据源，并且允许直接访问的，采用以ETL为基础的联机采集机制。中间表方式 对于关系型数据源，能够联机，但不允许直接访问的，可以考虑采用中间表方式采集，即业务系统将需要提供的数据拷贝到中间表中，然后从中间表采集数据。数据离线导入 对于不能联机访问的，可以采用数据离线导入的方式，即业务系统将数据定时导出（比如excel格式），然后采集系统根据这些文件进行离线导入。人工审核填报 对于原来没

16、有计算机系统，只有纸介质数据的，可以采用人工填报审核方式采集。,29,数据增量处理设计,4.数据采集设计,4.0,2.0,3.0,5.0,1.0,对于本身具有增量标识字段（比如时间戳）的数据源，直接使用其标识字段实现增量采集；对于没有直接的增量标识字段，但业务处理过程中能够判断到增量数据的，由业务系统将增量数据主动放到中间表里，然后采集系统从中间表中采集数据；为了确保数据的准确性，在上一种情况下，由业务系统将增量数据的主键（唯一判断条件）主动放到中间表里，然后采集根据中间表中提供的判断条件，去原表中提取数据；对于业务本身无法识别增量，但是允许进行修改的，则在其数据库中建立增量监控，通过这个监控

17、器来标识哪些是增量数据；对于业务本身无法识别增量，但是数据量比较小，或者采集频率不高的，则先进行全部采集，然后通过数据比对的办法处理；在上述情况都不能满足的情况下，如果数据库提供技术手段对数据操作过程进行日志分析的，则通过联机日志分析获得增量数据。,30,数据传输机制设计,4.数据采集设计,.0,2.0,3.0,0,1.0,在数据采集到前置机后，需要建立数据传输机制，实现数据上报到数据中心。对这个数据传输机制的要求包括：可靠投递数据触发数据路由数据压缩数据识别性能管理与监控,31,OLAP维度设计,4.数据集市设计,卷 烟 销 售 维 度 示 例,实质：构建多维立方体,32,典型的OLAP分析,4.数据集市设计,切片切块旋转,33,OLAP分析过程示例,5.数据集市设计,卷 烟 时 间,泰山 哈德门,泰山儒风 泰山华贵,泰山华贵 泰山华贵(1版),D1 D2 D3,指 标,产量,销量,库存,钻取过程,34,数据展现功能,5.数据展现设计,应用设计举例,营销综合分析,行业数据分析,专卖监管分析,财务数据分析,经济运行分析与监控,特色：针对不同的业务、不同的应用层，设计不同的增值应用,领导指挥应用,地市级 应用分析,