大数据中心建设思路.ppt

,西安美林 杨晓辉,国网数据中心概念,数据中心建设任务,4,数据中心目标架构,展示层,数据分析应用层,数据集市层,企业数据仓库(EDW),数据存储层,数据源层,跨专业综合分析,营销分析,财务分析,生产分析,设备分析,人力分析,计划分析,综合统计分析,电力市场分析,InfoCube,物资分析,项目分析,跨专业综合集市,企业门户,ODS,5,数据中心执行架构,批处理服务,性能与可用性服务,通用服务,最终用户访问,数据抽取,数据源,系统、非系统,数据存储,知识发现,在线分析,查询,数据访问,报表,报表,元数据管理服务,技术元数据,业务元数据,元数据知识库,数据仓库架构,数据访问,数据访问架构,门户系,统,数据全域服务,任务重启与,恢复,任务调度,监控,被拒绝数据,管理,错误处理,异常,日志与审核,跟踪,文件传输帮,助,数据归档,线程管理,参数化,文档管理服务,数据注解,应用连接服务,中间件连接,器,抽取,转换,数据集市,数据仓库,加载,数据缓存,ODS,排序过滤,清洗,抽取,转换,关联,更新,加载,DSO,套装软件业务,6,数据中心物理架构,磁带库,光纤交换机,光纤交换机,磁盘柜,存储,备份服务器,BI 应用服务器群,ETL/Monitor/Analysis,BI应用服务器可由多个服务器组成应用集群,数据中心建设的终极目标,企业统一数据模型,数据边界顶层信息模型,实现最终目标的困难,11,网省电力数据应用所面临的挑战,数据中心的建设策略,短期见效、应用驱动展现全局指标数据，早出成果，短期见效，以应用促建设非源头数据直接导入，健全全局类指标数据转移部分业务系统查询功能切断统计途径,推动数据中心应用,数据中心建设最终是为解决业务部门专业分析能力而服务，在这个逐步推进、不断完善成熟的过程中，应着重解决影响应用实用性不强的如下几点：,好的经验、方法和操作流程是关键，促进信任关系的建立，解决互不信任的局面。在一套有效的方法的指导下，同时遵照一个好的流程，就容易得到领导支持，得到业务人员的有效参与和技术人员的有力配合,解决长周期项目中期没有任何产出的现状消除领导及业务人员对数据中心建设疑虑建设期间、获取业务人员对实施过程中的认可和支持，从而不断增强他们对项目的信心及应用实用性的肯定,解决企业数据“进口”与“出口”数据统一切断网省业务人员获取统计数据的其他来源，统一定义从数据中心获取切断业务应用向总部交换数据的其他途径,1,2,3,业务部门主导,过程中不断出成果,切断原有数据统计、汇报方式,数据中心的建设方式,1、自顶向下（追溯法分析应用法）既先分析报表中指标数据，再根据指标的构成进行追溯分析，直至建设粒度到最小的、不可再分的业务细节数据；这种方式有利于梳理统计类指标，分析企业中各统计指标的口径。侧重纵向数据关联。2、自下而上（数据整合法）这种建设思路是先建立企业的概念模型，然后利用数 据仓库和企业建模标准等思想进行全面的数据模型设计、物理模型设计。侧重横向分析和标准建设。3、折中建设,建设方法对比,方法1.先数据整合、再构建分析应用,方法2.先构建分析应用、再进行数据整合（或者不进行全局整合）,方法3.边构建分析应用、边进行数据整合,优势,挑战,适用于,业务较为简单或业务需求明确,数据基础较好有成熟建模经验,业务条线复杂、数据基础水平不一、应用需求层次不同,要具备成熟的数据标准和数据模型数据整合投入较大，短期内与分析应用收益不能相符,可实行有效的数据质量管理可快速进行分析应用的扩展,分析应用快速见效,数据质量无法保障只能满足部门级使用,分析应用快速见效逐步深化的建设方法，兼顾效率和可扩展性,调动业务驱动力工作方法的统一一致建设团队的有效分工、协作,建议采用方法3进行数据中心数据整合的建设,分析应用演进,17,专业分析建设方法,业务驱动力梳理,分工协作模式确认,建设任务分工,实施验证,业务部门专业分析建设驱动力调研按专业分析建设指导思路，深化业务部门专业分析需求调研,按数据耦合度分工建设可按源系统接入管理、数据整合管理、分析应用建设管理的方式分工建设,组建专业分析应用建设团队，同数据中心运维团队建立分工协作机制，有效推进数据整合工作,按试点、推广、验证的数据中心建设流程迭代完成数据中心逐条线建设策略的部署,18,选择合适专业分析应用,满足业务部门需要量身定制的业务需求,生产分析举例典型日负荷曲线增长趋势分析峰谷差分析责任频率合格率分析电压合格率分析变压器负载情况分析,安全生产分析举例人身事故分析设备事故分析电网事故分析电力设施保护分析设备障碍情况分析,避免综合统计查询建设涵盖面广、集中展现指标集合的现象解决数据粒度粗放，业务主题分析不够深入的问题,按专业分析条线逐步完成数据整合，有利推动一体化平台数据中心的建立,专业分析深入性强,实施路线成熟度高,分析深入性强，需求定义严谨,专业分析内部耦合性强,设计结构要求严谨,专业分析,19,数据中心共享演进,继续完善数据交换平台，提升交换效率、性能，足以支持远程大数据传输的实现。在服务质量保证方面，关注数据交换场所的安全性、可靠性。构建数据交换接口区数据接口规范，随着数据仓库建设的进度而扩展接口区数据规范。,综合数据交换区域,营销数据交换区域,生产数据交换区域,ERP数据交换区域,共享数据区域设计,总部深化数据获取日报数据,细化数据深度,提升数据共享性能,21,展示层,数据分析应用层,数据集市层,八大业务应用数据和其它外部数据,安全生产,财务绩效,设备生产,企业数据仓库(EDW),数据仓库层,数据的抽取/清洗/整合,数据源层,安全生产分析,营销分析,财务绩效分析,电网运行分析,设备生产分析,人力资源分析,项目分析,物资分析,综合统计分析,电网运行,电力市场分析,人力资源,项目,电力市场,营销,物资,综合统计,网省电力公司数据仓库逻辑架构,数据应用分析通过企业级数据仓库及数据集市提供数据支持，并通过前端展示层将分析的结果用合适直观的方法展现给最终用户,22,数据仓库能力蓝图,数据仓库,集中整合,信息描述,数据移动,分析展现,质量保障,高级应用,提供多维分析能力，使得用户能够把一个实体的多项重要属性定义为多个维度进行深入分析，并能对不同维度值的数据进行比较；同时，还需具备数据挖掘能力，帮助业务分析人员在现有数据中识别数据的模式，针对整个企业的状况和未来发展作出较完整、合理、准确的分析和预测，从复杂难懂的数据中发掘出指引企业发展需要的路径,提供标准的报表和图表功能来帮助不同管理层人员做出正确决策；针对具体分析应用建立数据集市为前端提供高效的数据查询和分析服务,为了方便整个数据仓库保存信息的管理，需要具备强大的元数据管理功能，以实现各类技术术语与流程在企业内部的统一定义,通过数据仓库，使得数据按照业务主题进行存储，完成对分散数据的整合工作，形成企业内部“唯一事实”,提供较强的数据抽取、转换与加载能力：能够高效地将前端业务分析所需要的各类数据移动到数据仓库内，根据预先制定的业务规则对数据进行处理转换使其符合目标数据格式，并根据前端展现需求提供高性能数据加载机制,数据仓库应该具备完善的数据质量管理机制，确保企业内部数据的一致性与准确性，提升数据仓库分析结果的可信性,23,数据应用的业务目标,根据对国际先进电力企业的研究，数据应用工作可以通过提高四项能力（即电网安全运营管理、电力营销及服务、财务绩效分析和资源计划及决策）来促进电网的业务发展。,数据应用,提高电力营销管理及服务能力通过对用电量、电费、电价的分析，提高电量的需求预测能力、价格制定能力全面了解用电户的电力消费和缴费情况，帮助制定相关的用电政策和服务措施.分析营销手段及效果，提升营销策略的有效性,提高电网安全运营管理能力通过对设备和电网的运行状况、检修、缺陷、事故的及时准确掌握，提高设备和电网的监控管理能力，科学管理电网设备资源；通过对安全人身伤亡事故的分析，提高事故管理和防范能力,提高财务绩效分析能力反映企业单位的财务成果；指导企业单位降低成本和费用，增加收入；充分利用资金，创造好的经济水平员工绩效分析，从组织和个人两个层面为绩效管理提供支撑依据。,提高资源计划及决策能力完善报表管理，为领导及时提供全面的关键业务信息。通过国网业务运行状态的分析和监控，提高信息预测能力，为领导的科学决策提供保证，,电网用户,前台业务人员,后台管理人员,决策领导,数据分析应用的业务目标 通过构建四项能力来促进网省电力业务的发展,24,数据分析应用基本涵盖了网省电力所有业务数据范围,25,项目管理人员,科信管理人员,网省电力各层次用户通过数据分析应用而受益,26,保证设备综合信息的完整性和历史性,从横向确保完整性：设备运行的情况设备消耗的水、煤、气记录设备运行的可靠性记录记录设备的测试信息。从纵向确保历史性：当期上期历史同期历年情况。,设备管理监控人员/后台管理人员,数据整合支持,统一设备视图,设备台帐信息,设备检修,设备测试,设备故障,设备运行,设备消耗,设备事故,设备环境,设备可靠性,其他信息,(ODS),数据仓库,ODS保障数据的时实可访问性数据仓库保障数据的历史性,统一信息视图提供了快速访问主题全面信息的能力,某电力设备,27,数据仓库建设策略比较,重复的ETL发开和数据整合，人力资源浪费重复的ETL工具，前端分析工具，数据仓库平台软件的购买。各自的数据模型设计，集市之与集市之间潜在的新一轮数据整合需求。无丰富的企业全面业务数据支撑，无法提供跨系统的业务分析能力集市各自的指标定义，在企业层面，容易出现不一致不符合一体化平台建设要求,形成企业范围内统一信息视图建设统一、可重用的ETL流程ETL工具，前端分析工具、数据仓库平台单次采购和开发，有效降低TCO丰富的企业全面业务数据支撑，领导以及业务人员能够得到更加丰富的数据各业务部门可根据自身需求在统一数据仓库平台上建设更深层次的高级数据分析应用建设元数据管理机制实现企业内术语理解一致建设统一的数据管理机制，提升数据质量,推荐,实现方法I业务部门单独建立各自数据集市，无企业层面的统一的规化和协调,实现方法II信息部门牵头统一建设企业数据仓库,VS,29,当前已有成果,在相当长的时间内，还需要做的事情,数据模型建立过程,30,数据集市层,八大业务应用数据和其它外部数据,数据仓库层,数据源层,直接满足上层数据分析应用要求查询的高效性和有针对性高度聚合，一般无明细从技术而言是星型模式,数据分析模型,主题1,主题2,主题n,基于主题域侧重于对企业范围内数据进行整合明细数据与聚合数据共享从技术而言是3NF模式,数据仓库模型,数据模型在数据仓库架构中所处的位置,31,企业级概念数据建模目的,主题,主题,主题,主题,主题,主题,主题,主题,主题,业务数据,业务数据,业务数据,业务数据,业务数据,业务数据,业务数据,业务数据,业务数据,数据分类,企业级概念数据建模的目标在于识别网省电力业务主要数据主题并根据各个数据主题间的逻辑关系划分其所属数据主题域。数据主题域集中反映了某方面的业务内容，通常是同类或关联关系较为紧密的数据主题的集合（如，设备主题包括了设备台帐、设备运行相关事件等多个数据主题）。数据主题是任何可以区分的人、地点、事情、事件或概念，信息围绕它来保存。属性是实体的特性或数据字段。数据主题域是数据仓库主题建模的基础，通过细化数据主题域即可建立统一的数据仓库模型。统一数据仓库模型是网省电力公司数据仓库进行数据整合和集成的重要基础。,32,企业级概念数据建模方法,数据主题梳理 通过仔细分析网省电力公司各类业务系统详细说明，IT咨询组从中梳理出网省电力公司业务所产生和需要的主要数据并形成数据主题清单，这些数据主要包括主数据和事物数据两部分：主数据是指客户、供应商、设备台帐等，而事务数据是指网省电力具体业务运营所产生的各种事务型数据，例如设备检测数据、调度交易数据等。数据主题域设计 根据分析整理得到的数据主题清单，并结合这些数据的特点和网省电力具体业务关注点即可归纳抽像出数据主题域。主题域集中反映了主题相关的所有业务内容，通常是同类或关联关系较为紧密的数据主题集合,33,数据主题域划分,安全,客户,产品,设备,电网,财务,资产,物资,项目,人员与组织,综合管理,产品基本信息,产品价格,产品质量保障,服务流程定义,服务质量考核,服务绩效分析,34,数据主题域详细解释,安全,安全主题域用于描述公司运营过程中的人身事故、电网事故和安全损失等信息,客户,客户主题域主要由客户的基本信息、计费缴费信息、客户服务信息等组成,产品,产品主题描述国网公司提供的电能、热能与国网公司所提供服务的描述与价格信息以及与服务质量、服务效果相关的各类记录,设备,设备主数据用于描述企业发电、输电、配电、供电四大类在网运行设备资源、运行和调度信息、测试、破坏和环境等信息,电网,电网主题域包含了市场的电力价格、预测相关信息，网间、电厂电网的交易信息，以及电力调度中设备产生的相关数据,财务,财务主题域描述了财务的核算、预算、固定资产、资金数据以及会计账目等相关数据,资产,资产主题域描述了与国网公司各类有形/无形、金融/非金融资产相关的各类信息,物资,物资主题域描述了与国网公司的物资与物资管理相关的各类信息,项目,项目主数据表达了基建项目、跨区电网项目、投资项目、大修项目、技改项目、科技项目、用户项目和信息化项目的全生命周期的信息,人员与组织,人员与组织主题域用于描述公司业务活动中人和组织结构信息,综合管理,综合管理主题域描述同业对标、计划统计、审计、法律、纪检、国际任务信息,35,概念逻辑模型,36,主题域概念模型,产品,客户,安全,设备,37,主题域概念模型（续1）,物资,电网,资产,财务,38,主题域概念模型（续2）,综合管理,项目,人员与组织,39,数据建模一步工作：在概念模型基础上，进行国网公司企业级逻辑数据模型的建设,安全,客户,企业级逻辑数据模型包含近千个业务实体及其复杂的关系巨大的挑战！,企业级概念数据模型,细化,企业级逻辑数据模型,*企业级逻辑数据模型的建设应该以数据仓库建设为线索，是数据仓库建设的重要工作之一,示例,41,国网数据中心整体建设目标体系,电网安全管理能力,营销管理与服务能力,财务绩效分析能力,资源计划决策能力,数据应用,安全生产分析,财务绩效分析,营销分析,电网运行分析,设备生产分析,人力资源分析,计划统计,物资管理分析,电力市场分析,项目建设分析,42,综合决策,综合国网业务指标 建立数学模型，综合预测 完善关键绩效指标考核等应用 制定策略，指导业务实践,综合决策,套装软件内紧密耦合的专业分析 通用平台专业分析 跨平台的专业分析.,专业分析,绩效,预测,指标,挖掘,套装软件业务基础数据整合 在套装软件内部完成 非套装软件业务在通用平台 整合完成 交换数据,基础数据整合,层次：决策层内容:指标衡量,层次：管理层内容:专业分析,综合分析,营销分析,生产分析,人力分析,财务分析,物质分析,项目分析,设备分析,计划分析,数据中心整体建设目标体系在应用架构上的分解,43,基于通用平台实现,套装软件,营销系统,生产系统,EDW-ODS,企业级数据仓库,通用平台前端,集市,集市,集市,集市,前端,集市层,数据仓库层,ODS,源系统,DW中应用国网统一的数据模型和数据标准；整合后的数据通过开放平台前端进行分析和展现；,风险可扩展性较好，适应未来应用需求的增长有利于企业级数据模型的建立有利于系统间共享信息的统一信息视图建立,44,数据中心数据架构,46,主要数据访问功能,47,数据访问类型、数据访问复杂度和用户层次三者间的关系,48,数据访问方式,有限制的交互,灵活的交互,客户端通过浏览器访问数据,静态发布,灵活交互架构是能够提供最丰富功能的最新架构。除了与有限制交互相似的功能外，灵活交互架构能够生成包含嵌入式、可供交互、可执行内容的报表。这些可交互内容允许用户体验到接近于客户端/服务器模式工具开发的图形界面使用感觉,有限制的交互架构能够让用户访问实时数据。当用户点击链接来获取报表的时候，系统允许用户在一系列参数中选择自己需要的条件。这些HTML页面（可能是静态形式，也可能是互动形式）将被返回给Web服务器并展现给最终用户,静态发布是最直观的数据访问架构形式，用户可以通过点击相关链接得到预先生成的报表。这些报表以HTML文件格式存放在Web服务器内。静态发布的执行架构仅由Web服务器和浏览器两部分组成。报表通常是通过批量处理执行产生的,数据访问的实现方式是选择和评价数据访问工具的重要参考依据,目前市场上主流的数据访问实现方式分为两种：客户端-分析服务-数据存储客户端为IE流览器的数据访问 第二种数据访问方式因为更容易部署和更少的维护成本，被广泛的使用和形成行业标准,50,网省数据仓库的演进方法是以数据仓库分析能力和数据整合能力的提高为主线索,提升数据管控能力,改进数据质量,Quick Win（速赢）,数据仓库建立及完善,数据仓库优化,领导决策能力的提高,数据质量的改进,数据管理能力的提升,建立领导查询系统,挑选重要的主题进行数据仓库建设提供联机分析及综合报表,数据仓库基本建成提供更全面的数据分析以及数据展现可以对数据进行更深层次的挖掘,网省数据中心建设演进方法,51,国网数据仓库的总体实施策略是以降低风险为原则，通过试点建设积累经验，验证方法，从而形成国网成熟的统一的数据模型标准，数据管控方法和流程，数据仓库体系架构。然后再大面积推广。这样可以保证整个国网数据中心的建设在控、有序。,推广网省,试点网省,数据模型规划,提供基于业务数据主题的高层数据逻辑模型和细节数据物理模型业务数据标准和代码指标准确的建立设计数据仓库技术架构制定数据标准管理及维护流程制定数据质量管理策略和方法数据按其敏感性、重要性建立一套完整的数据安全分级标准,试点的建设,宣贯推广,经验验证,执行督导,典型经验,数据模型标准,数据仓库技术架构,数据管理标准,业务数据标准,代码指标标准,采用试点先行，典型经验指导的策略实行全国网范围内的数据仓库建设,52,数据仓库开发的人员和组织,53,数据仓库开发的阶段、任务和流程,计划,分析,设计,开发,测试,部署,项目管理,培训及运行支持,复查期望目标,定义方案蓝图,评估现状能力,定义交付策略,评估风险,定义ETL功能、技术整合,设计开发执行运行环境,制定ETL、BI产品测试计划,制定UAT计划,开发BI前台展现组件,安装开发执行运行环境,部署ETL、BI组件测试计划,完成产品测试,完成UAT测试,评估部署就绪条件,完成数据转换,发布应用程序,完成操作就绪测试,完成性能测试,ETL高层需求确认,T,T,T,T,T,T,ETL开发流程,定义开发执行运行环境需求,定义报表详细规范,建立概念数据模型,定义终端用户访问技术需求,定义数据分析需求,性能测试计划,建立逻辑数据模型,建立物理数据模型,完成组件测试,在整个数据仓库开发过程中，非常关键的任务。需要设入较多的资源,54,计划阶段,计划阶段,复查期望目标,评估现状能力,定义方案蓝图,定义交付策略,回顾愿景及业务目标,定义方案蓝图,确认目标业务流程,定义交付策略,T,T,T,T,评定当前业务流程,评定当前的 能力、性能、风险,评定当前技术架构,评定当前应用程序,评定当前组织架构,评定元数据及数据管控,评定当前支撑能力,应用解决方案,技术解决方案,业务流程变更解决方案,运维解决方案,定义开发策略,定义试点策略,定义测试策略,定义部署策略,定义元数据管理,定义数据管控策略,55,分析阶段,分析阶段,复查期望目标,定义数据分析需求,定义ETL高层需求,T,T,建立概念数据模型,定义开发、执行、运行环境的具体需求,定义用户对数据访问的技术需求,制定UAT测试计划,制定产品测试计划,制定性能测试计划,评估风险,56,设计阶段,设计阶段,定义ETL功能技术整合方案高层需求,定义报表详细规范,T,T,建立逻辑数据模型,制定技术架构及组装测试计划,设计开发、执行、运行环境的准备,57,开发阶段,开发阶段,ETL开发流程,BI前台组件开发,T,T,建立物理数据模型,ETL、报表组件测试计划,开发、执行、运行环境的准备,58,测试阶段,测试阶段,组件测试,产品测试,T,T,性能测试,UAT测试,确认组件测试周期编写组件测试脚本发布组件测试环境 更新测试源数据 执行组件测试，并将测试通报错误及时修复,确认产品测试周期编写产品测试脚本发布产品测试环境 执行产品测试，并将测试通报错误及时修复,确认性能测试周期编写性能测试脚本发布性能测试环境 执行性能测试，并将测试通报错误及时修复,59,部署阶段,部署阶段,评估部署就绪条件,完成数据转换,T,T,完成部署就绪测试,发布应用,评估应用程序是否就绪评估技术架构及基础架构是否就绪 评估部署站点是否部署就绪 评估国家电网最终用户人员是否就绪并已培训完成 制定偶发性事件处理机制 列出部署就绪每一阶段检查点,准备数据转换就绪动作准备转换所需正式数据；清洗数据；创建数据备份执行数据转换动作验证转换后的数据,执行部署测试验证操作结果错误修复；管理及服务支持能力就绪确认操作就绪验证完成通知部署、开发及上线实施团队,FI业务管理模块,财务ERP业务管理模块总共有7个分析主题；应用到的分析查询共有75个；BW分析模型8个；用到的源系统分为2类：ECC P800和外部平面文件；数据源总共有11个：,财务管理,ERP高级分析应用,ERP业务运行指标,杜邦财务分析体系,地市公司对标指标,总账,应收,应付,固定资产,贷款,业务量统计,凭证错误率分析,预制凭证完成情况,财务开放记账期间查看,包含了13份报表，25个分析查询，2个数据源。杜邦财务分析体系详细地为用户或决策者提供了陕西省电力公司本部、物资公司、信通公司及各地市公司的所有财务状况数据信息的综合性分析平台，用户通过它就可以对各公司的月度财务状况及年度财务总结都有一个全面的掌握.,杜邦财务分析体系 模型结构图,设备维护成本分析,电网发展指标,资产状况指标分析,财务分析,数据质量监控,数据质量监控系统由数据监控看板、数据修正、数据质量分析及数据评测报告等组成。几个功能模块并非独立的，而是以综合查询分析平台为基础以数据修正为纽带紧密的结合起来通过层层推进并迭代的方式，不断促进数据中心的数据质量的提高，同时也帮助各个业务系统提交各自的数据质量。,通过数据监控看板发现数据错误，针对错误联系业务系统运维人员或业务部门对业务数据进行纠正。,使用数据修正功能对“脏数据”进行处理，可以手动执行ETL程序重新抽取剔除错误数据。,每周根据数据监控看板的内容，按业务部门、业务系统、错误类型和质量变化趋势出具数据质量分析报告。,以促进数据中心应用为主线，在应用中动态地提高数据质量。,数据质量监控,在ETL设计过程，需要针对每个流程设计错误流程并且定义错误类型。每个ETL流程遇到错误时写入容错库中。,数据质量监控,数据修正使用使用Informactica提供的WebService接口，通过调用WebService可以在以Web的形式调用ETL程序对出错程序进行处理。,数据质量监控,利用Cognos展现分析功能，对错误库中的数据按出错时间，出错类型，隶属业务部门，隶属业务系统等汇总，可以得到数据质量分析报告。该报告也可以使用Cognos的导出功能实现。,81,紧耦合专业分析建设业务驱动力,紧耦合技术路线已明确，紧耦合分析提上建设日程,项目-物资分析举例消耗量分析：按单位，项目性质，项目类型，项目阶段，物资类别，时间等维度，对物资数量，物资金额的计划值，实际使用值进行对比分析。,项目财务分析举例项目投资规模分析项目资金结构分析资金执行情况分析项目资金来源分析,物资-财务分析举例 物资采购金额数量分析,套装软件内专业分析成熟度高套装软件提供成熟分析模版,电网企业管理分析需求集中，实施成熟度高,分析耦合性要求多,实施路线成熟度高,