经典数据模型培训ppt课件.ppt
数据模型培训,2009年07月,目录,数据模型的概念主题域模型介绍FSD数据模型总体介绍FSD数据模型应用数据仓库建模基础总结,逻辑数据模型(Logical Data Model)是：利用图形方式，通过数据和关系反映业务的一个过程；定义需要追踪和管理的各种重要实体、属性和关系；是进行各种数据管理、分析和交流的重要手段；是IT和业务人员沟通的桥梁；,什么是数据模型？,数据模型作用,为复杂的业务系统实施提供了规范和基础结构蓝图促进业务部门用户和IT分析人员之间的有效沟通，提高了IT 系统开发的效率明确业务需求解决业务问题形成对重要业务定义和术语的统一认识，有助于业务的积累具备跨部门、中性的特征，能够表达所有的业务业务具有一定的稳定性，可以减少项目实施的风险借鉴行业实践检验，提供成熟、可扩展的方案,数据模型的基本组成,数据模型由实体、属性和关系组成：实体是具有公共性质的可区别的现实世界对象的集合，诸如人、地点、事件或概念等任何要保留信息的事务，如客户、产品等。包括基本实体、子类型实体、属性实体、关联实体四种类型。属性是描述实体或者联系的性质的数据项，是实体的特征，每个属性都代表实体的单个特征信息，如客户ID、客户名称等，其中主键用于唯一标识实体，外键存在于父子关系的一对实体间。关系是表示实体之间的关联、连接等。关系有一对一、一对多、或者多对多。关系有基数、可选性、标识联系、非标识联系等特性。,范式化,第1范式：属性依赖于键第2范式：属性依赖于全键第3范式：属性只依赖于键总结：所有属性必须依赖键且为全键，并且只能依赖于键讨论：范式化与逆范式化（通俗的说法：窄表、宽表）数据模型与数据结构,指标维护-指标关系历史,指标维护-指标性质,第一位: 1:本期 2:上期 3:年初 4:同期 5:比较,第二位: 1:实际值 2:增减值 3:增减百分比,指标维护-计算方式代码,指标结构,指标维护-指标性质,第一位: 1:本期 2:上期 3:年初 4:同期 5:比较,第二位: 1:实际值 2:增减值 3:增减百分比,指标维护-计算方式代码,数据模型关系,数据建模技术,企业级数据模型,主题域模型,业务数据模型,贷款业务,贷款业务（核心系统）,贷款业务（信贷系统）,逻辑数据模型,物理数据模型,存款业务,建立逻辑模型策略,从物理数据库如：核心、CRM、信贷、资产负债等系统开始进行反向工程。建立逻辑模型，被称为“自底向上”的建模方式，或模型B。,根据数据建模小组的业务知识和行业建模经验建立实体水平逻辑模型，被称为“自顶向下”的建模方式，或模型A。,业务知识企业级数据模型,交易系统,交易系统,目录,数据模型的概念主题域模型介绍FSD数据模型总体介绍FSD数据模型应用数据仓库建模基础总结,通用数据模型,主题划分,金融数据模型总览,当事人,产品及协议,交易,当事人-定义及分类,当事人-法律实体,当事人-组织机构,当事人-客户,产品-定义,产品-特性,产品-分类,协议,交易,财务记录（账户）,财务记录(账户),协议-交易-账户的关系,当事人（具有银行指定的客户角色）与银行进行某种业务时，必然针对银行的某种产品，其产品自身的特点及交易属性决定了在交易时必须遵循一定的规则，即双方必须遵守的业务约定（协议）。在业务约定的前提下，在一定的时间和地点双方实现业务约定的内容，即进行交易，交易过程中会伴随有相应的金额数量和币种等信息。交易发生时，银行会记录与这笔交易有关的财务信息，即影响银行财务增加或减少的财务记录（账户）。,地域,通讯,凭证,时间表,金融资产,分类,目录,数据模型的概念主题域模型介绍FSD数据模型总体介绍FSD数据模型应用数据仓库建模基础总结,FSD（Financial Service Datastore）的目标,面向银行业，满足银行业务、管理、监管要求通过多家银行的报表需求，不断完善FSD元数据内容通过对报表需求的分析，不断完善元数据定义的标准通过多家银行的项目实施经验，不断完善数据采集的管理、调度机制，实现外部业务系统、数据平台的安全、协调运行具有良好的拓展性，满足银行不断推出的新业务、新服务的要求制定FSD管理流程，保证FSD与数据平台产品的同步升级建立FSD数据管理方法论，保证新增数据与数据模型、历史数据的有效衔接协助银行，制定有效的数据管理制度 从任何角度统计，在业务逻辑一致的情况下，结果相同 从分户账、总账、交易信息，等等，任何一个角度进行统计，结果一致,数据代理层,数据提供者,业务报表,管理报表,数据服务工厂,数据使用者,数据管理体系,抽取、清洗、转换、加载,组织、活动、交付、职责、技术,即席查询,分析决策,数据管理体系,数据平台层,数据应用层,监管报表,FSD的处理步骤,ODS层,基础层,汇总层,FSD业务主题域,内部资料 注意保密,内部资料 注意保密,FSD业务主题域,贷款数据模型,内部资料 注意保密,FSD贷款主题分析模型,186个维度,91个指标,13个数据粒度,贷款业务模型已较为完整，可据此产生新的报表,内部资料 注意保密,贷款主题分析模型,目录,数据模型的概念主题域模型介绍FSD数据模型总体介绍FSD数据模型应用数据仓库建模基础总结,FSD数据模型的语义定义,商业机密,51,技术层,展现层,ETL加工过程,业务系统产生的数据,语义层,FSD物理模型,技术元数据,技术元数据,业务元数据,业务元数据,语义定义过程,语义应用过程,元数据管理,查询,报表,文件,视图,元数据业务视图,FSD物理模型表 字段 视图 关联 分区,元数据建模,模型元数据属性 指标 组合维度 层次,MMT元数据条件 维度列 指标列 单/多维度指标列 组合MMT,报表元数据参数 样式 行列定义 数据区定义 平衡检查 补录定义,多维模型,多维建模是一种将数据模型概念化和形象化为一组可用一般商业概念描述的度量的技术。 星型模型雪花模型多维建模的基本概念维度度量面向业务人员的建模过程,维度和度量,维度是一个与业务相关的观察角度依赖于数据的有效性和表达业务成效的关键性能指标度量度量是业务量化的表示用于评价业务状态的数值型数据用于检测业务的成效不同度量反映不同的业务性质度量之间是独立的,机构时间币种贷款产品类型贷款用途贷款投向行业五级分类担保方式期限,维度,余额逾期金额发放金额回收金额表内欠息表外欠息实收利息应计利息贷款笔数发放笔数回收笔数逾期笔数,度量,贷款模型,示例：2008年度北京分行用于个人消费的三年期人民币贷款的发放总金额和贷款余额是多少？维度：时间（2008年度） 度量：发放总金额 机构（北京分行） 贷款余额 产品（个人消费贷款） 期限（三年期） 币种（人民币）,贷款分析举例,目录,数据模型的概念主题域模型介绍FSD数据模型总体介绍FSD数据模型应用数据仓库建模基础总结,什么是数据仓库?,数据仓库区别于其他数据存储系统“数据仓库是一个面向主题的、集成的、随时间而变化的、不容易丢失的数据集合，支持管理部门的决策过程.” W. H. Inmon,数据仓库经典著作,数据仓库模型主题的定义,数据仓库模型主题的时间性,数据仓库建模,数据仓库建模,数据仓库建模,目录,数据模型的概念主题域模型介绍FSD数据模型总体介绍FSD数据模型应用数据仓库建模基础总结,Wiley - Mastering Data Warehouse Design - Relational and Dimensional Techniques,沟通与反馈,您今天的宝贵意见，将成为明天的现实,
