数据集市建设、数据质量及数据管理方法.ppt

《数据集市建设、数据质量及数据管理方法.ppt》由会员分享，可在线阅读，更多相关《数据集市建设、数据质量及数据管理方法.ppt（51页珍藏版）》请在三一办公上搜索。

1、集市建设及数据管理方法(初稿),目录,数据集市,数据集市,数据集市：数据仓库的子集经过ETL流程的一定粒度汇总数据面向部门级业务针对特定主题的数据集星型模式(不遵循3NF结构)缓解仓库访问瓶颈,实现方式：独立型(Ralph Kimball)仓库是集市的联合数据来源于业务系统首先满足数据展示的需求必需统一的数据仓库建设思想协调从属型(Bill Inmon)集市是仓库的子集数据来源于仓库提供更强的数据一致性和灵活性长期规划,实现目的合并不同系统数据源非实时更新数据的访问信息发布面向特定用户群体合理的查询响应时间快速一致的视图访问,独立型,从属型,实现步骤：定义商业目标理解数据源确定汇总粒度定义数据

2、模型,实现原则：统一构建总体指导稳定性可适应性可扩展性,数据分层架构,针对性营销数据集市,基于EDW/ODS，通过对EDW/ODS中的数据进行一定粒度的汇总，满足针对性营销IT支撑需求的数据集合 包括营销分析数据和营销事务数据,营销分析数据数据挖掘宽表自助取数汇总表外部数据宽表,数据挖掘宽表旨在为数据挖掘模型的建立和分析提供基础支撑，并为之提供有效的数据集合，提升系统效率。包含客户属性类数据、客户拥有类数据、客户行为类数据、客户价值类数据和客户交互类数据。自助取数汇总表自助取数汇总表主要包含按照客户、用户等维度进行数据的初级汇总和整合，实现自助取数系统对客户、产品等相关信息数据提取,外部数据宽

3、表(外部调研数据)在成功获取了外部数据后，可构建合适的数据集市，纳入系统的外部数据可包括：竞争对手信息、客户偏好信息、客户满意度信息等 外部数据涵盖的范围非常广泛，将所有的外部数据都加载到针对性营销的数据集市中存在较大难度。,营销事务数据营销事务数据用以支撑营销活动的制定与开展套餐资料库营销资料库营销资源库,套餐资料库套餐资料库存储已有的套餐资料，为套餐梳理和套餐方案设计环节提供数据支撑。套餐的结构包括基本套餐和可选套餐两部分。基本套餐是套餐的主体部分，它包含了套餐的核心产品及主要优惠规则，可以独立存在；可选套餐是由客户自行选择的叠加套餐，一般不单独提供，需以购买基本套餐为前提。,营销资料库营

4、销资料库包含了整个营销活动的策划、分析、评估环节所涉及到的除了套餐以外的内容：市场调研所需的问卷题库营销脚本宣传方案促销方案营销活动案例,营销资源库营销资源库包含了电信公司所拥有的渠道、销售品、外呼中心等资源的，供营销策划人员在策划时可以查询当前营销活动可以利用的营销资源；用于对营销活动所需资源的可利用性进行检查人力资源财务预算广告资源渠道资源合作伙伴促销品资源（包括赠送品、搭售品等）其他支撑系统功能（如计费系统）,目录,数据集市数据管理数据整合数据质量元数据管理,数据整合,整合准备：源/目标模型数据预处理整合过程：数据抽取数据转换数据加载,整合规则：数据编码统一保证数据质量支持异常控制流程可

5、维护异常处理流程管理,输出：规则分析包括：候选数据源确定、源与目标的映射关系、估计行数等执行分析包括：执行时间、执行方式、执行顺序、执行频度等异常报告包括：异常位置、异常原因、处理方式等版本控制,数据整合总体流程,总体处理流程,目录,数据集市数据管理数据整合数据质量元数据管理,数据质量解决方法,信息问题域,技术问题域,流程问题域,管理问题域,数据质量管理流程,数据质量评估分析,问题解决和验证,数据质量问题分析,源系统数据人员,ODS系统维护人员,数据质量管理人员,数据质量检查人员,数据质量检查,问题汇总,数据质量稽核,分析问题问题展现,ETL处理过程,数据质量问题发现,问题工单生成派单,派单判

6、断,源系统问题工单,ODS系统问题工单,工单处理,问题解决,N,数据质量分析评估,问题验证,数据质量考核,源系统评估报告,ODS系统评估报告,数据质量检查稽核,数据质量评估监控,管理功能,源系统1,源系统2,ETL/EAI,企业数据平台,数据质量任务派发,数据质量角色管理,数据质量组织管理,数据质量工单管理,数据质量权限管理,数据属性关系检查,数据属性检查,数据表关系检查,数据对比稽核,异常处理,数据对比展现,数据质量分析,数据质量评估,数据质量告警,数据质量异常跟踪,数据质量修正跟踪,数据质量监控,数据质量管理平台,数据质量基础管理,规则配置,数据处理情况考核,算法配置,统一指标定义,流程配

7、置,异常流程跟踪,接口定义,数据质量管理总体流程,总体处理流程：,目录,数据集市数据管理数据整合数据质量元数据管理,元数据管理,元数据定义元数据最本质，最抽象的定义为:data about data(关于数据的数据)在数据仓库领域中，元数据被定义为：描述数据及其环境的数据元数据存储技术元数据：为企业技术用户和IT人员提供支持的元数据业务元数据：为企业业务用户提供支持的元数据,元数据管理,元数据管理技术公共仓库元模型CWM,CWM公共仓库元模型（Common Warehouse Metamodel）是OMG国际标准化组织提出的，主要目的是在异构环境下，使不同数据仓库工具、平台和元数据知识库进行元

8、数据交换。,元数据管理支持五类系统管理功能描述哪些数据在数据仓库中;定义要进入数据仓库中的数据和从数据仓库中产生的数据;记录根据业务事件发生而随之进行的数据抽取工作时间安排;记录并检测系统数据一致性的要求和执行情况;衡量数据质量。,数据仓库元数据管理,数据仓库涉及的元数据管理包括：数据源元数据ETL规则元数据数据仓库元数据报表元数据接口文件格式元数据商业元数据其他元数据,各类元数据管理办法：,数据源元数据数据源元数据主要是数据库模型设计文档、为综合统计分析平台提供数据的各种业务系统的数据字典及数据接口文件等。数据源元数据的管理：由相关人员对各类文档进行统一版本的管理。,各类元数据管理办法：,E

9、TL规则元数据ETL规则元数据中涉及到数据源元数据、目标系统元数据、ETL流程、源与目标的映射关系等元数据信息。数据源元数据包括业务系统元数据和数据仓库元数据等；目标系统元数据可能是数据仓库元数据、数据集市元数据等。ETL规则元数据的管理：由数据库开发人员根据各个模块的ETL过程以及过程运行的顺序，形成相关元数据管理文档进行统一管理。,各类元数据管理办法：,数据仓库元数据数据仓库采用RDBMS进行数据的存储和管理，设计模式遵循数据仓库的设计准则，实现主题、维、度量等多维概念模型，这些元素在RDBMS中物理上是具体的数据表，这些表与具体多维模型的映射关系需要通过元数据进行描述和定义。数据仓库元数

10、据的管理：制定数据仓库模型设计文档记录事实表、维度、属性、层次等信息，物理表与多维模型的映射关系等信息，对文档进行统一版本的管理。,各类元数据管理办法：,报表元数据包括对报表和报表中具体指标（度量）的描述信息等报表元数据的管理：对数据集上可以计算的度量进行相关元数据的管理，包括详细设计文档中对各个表中度量的定义、描述等；对所有表和度量之间的关系进行严格的文档记录，包括度量的计算、度量之间的相互依赖关系、以及历史信息进行元数据管理,各类元数据管理办法：,接口文件格式元数据接口数据文件格式，包括接口数据文件的命名、传输周期、格式等说明信息。接口文件格式元数据：与ETL规则元数据进行统一管理。,各类

11、元数据管理办法：,商业元数据系统中对各项指标的业务含义的描述性信息，在综合统计分析平台中，包括维、度量的业务含义描述，主题的分析目标描述，报表指标的解释信息等。商业元数据的管理可以分解成数据仓库元数据的管理和报表元数据的管理。,各类元数据管理办法：,其他元数据数据访问日志、数据装载日志等信息。数据访问日志记录数据库的访问信息，包括对数据库表的操作、锁、内存使用、I/O使用等信息；数据装载信息记录每个ETL过程的抽取时间、操作人员、起始和截止时间、抽取涉及到的表、操作行数等相关信息 其他元数据的管理：将元数据信息记录到日志，形成元数据文件进行统一管理,智能营销数据管理,智能营销元数据管理,?,?,谢 谢!,