数据仓库建设规划课件.ppt

《数据仓库建设规划课件.ppt》由会员分享，可在线阅读，更多相关《数据仓库建设规划课件.ppt（48页珍藏版）》请在三一办公上搜索。

1、南充市商业银行数据仓库建设规划,南充市商业银行科技部,第1页,概述,第2页,数据仓库业务支持的目标,数据仓库的投产不同于传统的信息系统，它是萃取原始数据转换成决策信息，进而衍生企业智慧的一段旅程，数据仓库系统的投产是旅程的起点而非终点。数据仓库的价值体现在深度运用中，用于持续改善的过程，而非一个短暂的项目。 建立成熟完备的BI环境进行业务支持是一个重要手段，应该建立、健全一套完整的业务支持流程，针对不同特点的应用使用不同的方式，提供不同种类的应用模式，从而提高对业务需求的响应速度和质量。除了流程的规范，还应该完善EDW自身数据体系的建设，同时加大用户的培训力度，用各种可能的方式和渠道推广数据仓

2、库，实现最大程度发挥信息平台业务价值的终极目标。,第3页,数据仓库的应用模式,随机查询 具有IT和业务两方面的知识和技能，进行任意数据探索和查询，回答各种未预先定义的业务问题。,数据挖掘 在灵活分析的基础上，对某些业务问题进行数据属性的提炼和归纳，如“评分模型”、“违约模型”、”细分模型”等。,应用系统 支持复杂业务逻辑的应用系统，典型的包括营销管理、利润贡献度、平衡计分卡等。,国际先进银行的企业级数据仓库系统实践表明，应用系统的开发离不开需求的成熟和稳定，只有通过大量的灵活分析和数据挖掘的应用，才能形成成熟稳定的应用需求，反之，应用系统在业务中的大量使用，又会促进分析人员更加深入、有效的分析

3、探索数据。,Data Mining(Modeling),Applications,Ad Hoc,Reports,固定报表 以固定模式回答简单、常规的业务管理、统计类问题。,第4页,应用模式描述,第5页,应用模式一:灵活查询,特点：随机性随时发生、可以由任何部门发起。时效性应对突发需求的相应能力，要求比较高。开放性可能是简单统计，或是某种测算，或是某项明细数据查询，也可能是某种复杂逻辑的处理。独特性特定的目标，特有的度量、专用的视角和算法。不确定性过程不确定、方法不确定、查询路径不确定、分析结果不确定、表现形式也不确定。,关注点：需求、数据、效率的平衡业务人员的参与和交互提供知识共享的途径和办法

4、分析模板用户培训依赖条件数据的了解 业务知识和经验查询分析工具的运用沟通、应变能力,利用分析工具直接进行任意的数据探索和查询，回答各种未预先定义的业务问题。,第6页,应用模式二:固定报表,特点：确定性信息所涉及的度量和维度是确定的、权威的，一般由归口业务部门对其进行明确定义。普遍性信息经常在部门内部乃至全行的信息需求中多次出现；简单、容易理解，对用户要求不高。跨系统不依赖单一业务系统，需要全局视图。,关注点：信息共享统计口径大用户量主要元素维度、指标设计报表设计规范控制总量准入准出制度数据要求：语义层的准备,固定报表是数据仓库信息共享的主要途径之一，是最重要的展现方式。部分常用的，能够提炼出共

5、性的灵活查询可能会转化为固定报表,第7页,应用模式三:应用,特点：逻辑整合某种程度的业务逻辑内嵌于此应用以便用户能够按照一定的规则完成其任务。交互式相对于操作型应用非常固定的用户界面，分析型应用提供交互式的访问途径。信息整合分析型应用是以业务主题为导向的，会使用多个信息来源。建构在数据仓库环境上的分析型应用在多个维度上保证信息的一致性。业务主题应用一定是服务某个业务主题定义。例如风险管理、营销管理等。,关注点：自建还是购买架构和部署BI架构数据架构技术架构主要元素外观和感受业务逻辑报表和分析功能数据模型数据映射,包括：分析型应用和操作型应用；而分析型应用绝不仅仅是固定报表随意的堆砌，应用系统中

6、特意设定的业务逻辑可以帮助用户逐步访问与分析一系列交互式的报表，并在特定的业务主题背景下采取经过优化的行动。,第8页,应用模式四:数据挖掘,特点：全面性挖掘模型使用的数据通常都需要大量详细的历史数据支持，大多需要跨业务领域进行综合的关联分析。专用性大多数挖掘模型都是针对某个特定领域的特定问题创建，应用的范围和服务的对象都比较特定。抽象性数据挖掘使用的统计技术以及模型的产出结果都具有高度的抽象性。周期性挖掘模型的创建是基于建模时的训练和校验数据，一段时间后可能需要根据性能对模型进行回顾和调整。,关注点：业务人员的参与资质目标规则架构仓内仓外产出结果存储发布应用,从大量数据中揭示出隐含的、先前未知

7、的并有潜在价值的信息的过程，主要基于人工智能、机器学习、模式识别、统计学等技术，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。,第9页,应用模式综合应用场景,应用模式和需求并不是一一对应的，一个业务需求的提出和解决可能需要多种应用模式的综合应用,挽留客户示例,看看最近客户流失率是否有异常？,他们有什么特征？能不能提前发现？,查查原因？,挽留成功！,部署在应用中，例如事件式营销,报表,挖掘,灵活查询,应用,同业案例四:某股份制银行界面,同业案例四:某股份制银行界面,同业案例四:某股份制银行界面,第13页,同业现状,同业案例一:某国有银行,数据应用层,数

8、据整合层,数据交换层,基础环境层,DW,数据集成,历史数据管理,各类MIS,市场,客户,风险,统一数据交换,离线数据管理,元数据管理,统一调度监控平台,综合统计报表,专题集市,集成信息服务,主机数据交换,通用文件传输,业务分析,同业案例二:某区域银行,数据应用层,数据整合层,数据交换层,基础环境层,DW,EDIP,历史数据管理,各类MIS,MA,CRM,风险,离线数据管理,统一报表信息系统,元数据管理,数据质量管理,数据标准管理,统一ETL平台,统一报表平台,统一卸数,ECIF,事件式营销,信贷集市,集成信息服务,数据交换平台,营销,反洗钱,信贷,同业案例三:华东某城商行,数据应用层,数据整合

9、层,数据交换层,基础环境层,DW,ODS,历史数据管理,各类MIS,MA,ACRM,风险,准实时数据管理,业务快报,元数据管理,数据质量管理,数据标准管理,统一ETL平台,统一报表平台,操作型应用,专题集市应用,数据集成服务,准实时数据服务,历史数据服务,同业案例三:华东某城商行一期之前背景,核心,信贷,个贷,三存,国债,基金理财,总账,管会,债券,国贸,人力,绩效,抽取ETL,数据接口,PORTAl,银企对账,风险监控,CRM,反洗钱,非现场审计,1104,FTP,同业案例三:华东某城商行一期结束的架构,BI Office,核心,信贷,个贷,三存,国债,基金理财,总账,管会,债券,国贸,人力

10、,绩效,抽取ETL,数据接口,PORTAl,管理驾驶舱,银企对账,基础数据层FDM,汇总数据层ADM,协议,团体,事件,帐务,产品,渠道,公用,数据集市层,ETL平台,部门报表,报表集市,数据接口,数据交换平台,历史拉链,轻度汇总,指标汇总,集市汇总,复杂报表,仪表盘,多维分析,即席查询,同业案例三:华东某城商行二期结束的架构,BI Office,核心,信贷,个贷,三存,国债,基金理财,总账,管会,债券,国贸,人力,绩效,抽取ETL,数据接口,PORTAl,管理驾驶舱,基础数据层FDM,汇总数据层ADM,协议,团体,事件,帐务,产品,渠道,公用,数据集市层,ETL平台,部门报表,报表集市,数据

11、接口,数据交换平台,客户数据集市,数据管控,分行数据支持,历史拉链,轻度汇总,指标汇总,集市汇总,复杂报表,仪表盘,多维分析,即席查询,银企对账,短信平台,CRM,绩效考核,非现场审计,应用及数据延续,同业案例三:华东某城商行一期价值,汇总模型,基础模型,报表平台ETL平台,报表应用,专题应用,技术,数据,应用,业务价值,管理驾驶舱（管理者数据）部门管理报表,模型(FDM、ADM)数据接入数据供应,ETL平台;公共应用平台;数据交换平台,一期的能力：应用：建立公共应用平台，具备决策支持、数据分析支持能力数据：全行数据集成能力（ODS数据模型）；全行数据交换能力技术：BI应用门户；ETL处理中心

12、,同业案例三:华东某城商行二期价值,汇总模型,基础模型,报表平台ETL平台数据管控平台,报表应用,专题应用,技术,数据,应用,业务价值,管理驾驶舱完善部门管理报表完善CRM优化支持数据库营销支持,模型扩充（数据接入）数据供应（新增、迁移）客户主题集市分行数据规划,数据管控平台平台升级完善,二期的能力：应用：决策支持、数据分析支持能力；分行服务支持能力；客户主题分析数据：全行数据交换能力；全行数据集成能力；数据管控能力技术：BI应用门户；ETL处理中心；数据管控平台,第22页,项目背景,当前行内系统分类,联机交易系统,核心业务系统：资产、负债、结算（同城/跨行/票据等）、分录账务、报表、客户账户

13、管理、公共（角色/权限)外汇系统：外币综合系统，账户、客户、负债业务、分录账务、报表卡平台系统：ATM/CDM、POS、银联、兴业柜柜通、城商柜面通的渠道接入MBFE支付系统：人行大小额支付前置综合前置系统：代收类业务、网银接入、代付类业务的渠道接入网银系统：外包方式，当前在自建其它：财务系统、电话银行接入前置、网银接入前置、TIPS系统、指纹识别系统、电票系统 . .,数据系统,财务系统的报表模块：监管机构报表,流程系统,OA系统：公文流转与审批，公告和办公沟通信贷管理系统：流程管理、信息管理、基本数据分析,风险监管系统,事后监督系统：票据监督、账务监督、操作类风险事后检查压力测试系统：在建

14、,其它系统,反洗钱、反假币、征信系统等，主要为监管机构要求的系统,系统类型占比,1：本币、外币核心系统分开，客户、账户、渠道、公共信息不能共享，不利于业务拓展和新产品创新2：联机交易系统前置众多，故障风险点高，维护量大3：数据系统不足，难以满足决策分析的要求4：流程类系统集中在专项系统，对全行商业流程管理、信息内容管理支撑有限5：风险监管系统缺少操作风险管控和风险预警系统,信息系统的业务支撑情况,服务层,操作层,科技,客户经理,分行管理层,分行领导,分行部门领导,客服人员,风管/审计,OA/邮件系统,信贷管理系统,后督系统,人力资源,综合,柜员,联机交易系统,绩效考核系统,已投产信息系统,管理

15、组织架构,业务和数据要求,总账数据报表办公支持决策管理系统其他数据分析,数据分析和挖掘日常办公支持报表和钻取,客户经理和门柜管理办公支持、客户管理执行性/监管性报表,分行经营数据分析分行报表和查询日常办公,对公、对私存贷业务中间业务电子渠道交易,企业数据总线,在规划的信息系统,各电子渠道系统,行内重要信息系统数据图,存在问题,当前存在问题,整个架构为网状结构，相互影响较大维护量巨大数据口径不统一指标不全面,今后拓展存在得隐患,数据存放零散,存在数据冲突,无法支持灵活查询和应用,缺乏对业务拓展的持续支撑没有全面一致得数据历史积累,今后无法进行数据挖掘,构建决策分析/风险预警等系统无法保证数据资产

16、不被泄露,第27页,整体规划,规划思路,业务创新期,基础建设数据治理报表支持,管理优化期,业务支持期,数据整合专题应用,数据开放创新业务,技术主导业务参与,业务需求技术支持,业务主动技术服务,业务价值驱动从技术“推” 到 业务“拉” 的转变养育数据、由小而大、分期建设规划勾画骨架；项目勾画血肉,目标蓝图:技术框架,总行,分行,目标蓝图:支持能力,目标分解:体系架构,数据管控体系,战略与规划,业务应用体系,服务运营体系,技术平台体系,政策、流程、制度,数据标准,数据质量,元数据管理,数据架构,业务创新,战略决策,运营策略,管理优化,应用驱动型服务,数据驱动型服务,运营驱动型服务,数据运营治理,数

17、据仓库平台,数据服务平台,数据应用平台,数据管控平台,运营管理平台,目标分解:业务应用体系,目标分解:数据管控、服务运营体系,目标分解:技术平台体系,线路图规划原则,客户信息,渠道与整合层,绩效管理,客户关系管理,产品系统,风险管理,其他支持系统,排定的优先级别,应用模块的优先顺序,要点,认识客户的基础，同时也是提供差异化服务的基础强化销售能力与多维度绩效管理支持销售型网点的基础产品交付的管道服务与认识客户的基础支持销售型网点及后台交易集中的基础 提供全功能的远端线上银行整合渠道管理提供差异化服务的基础强化销售能力与多维度绩效管理并且及时提供精确的绩效分析报表建构全行资金转移定价的模式提供基于

18、活动的全成本配置机制提供覆盖全面的产品平台支持销售型网点及后台交易集中提供弹性产品组合与协销机制，建构专业产品发展过程认识客户的基础，同时也是提供差异化服务的基础强化销售能力建立风险市集以累积风险数据良好的风险防范与监督检查机制建立目标导向并且定期更新的风险评级机制支持实时市场风险模拟、贷后及全产品风险管理机制支持先进的操作性风险管理交易集中化是销售型网点的基础组织化的人力资源管理与便利的办公室自动化（需要支持异地经营）适时的人力资源开发与培养可信且实时的预算管理,线路图,整体规划,规划管理,规划调整与实施监控,服务运营体系,数据服务流程、制度制定,业务应用体系,业务快报,业务价值驱动的专题应

19、用（客户、运营、风险、财务、信息）,政策、流程、制度制定,数据治理体系,数据架构管理,数据安全,技术平台体系,基础数据平台（ODS）,业务价值 数据架构 技术架构 应用架构 管控架构,数据开放,数据标准、元数据管理、数据质量,主数据管理,数据交换服务,数据集成服务,历史数据服务,数据开放服务,基础数据平台（历史数据平台）,基础数据平台（EDW）,数据管控平台,ETL平台,公共应用平台,主数据管理平台,基础数据平台（数据交换）,专题应用系统,管理驾驶舱,部门报表,线路图,第38页,一期计划,本期规划,39,项目范围,第41页,第42页,第43页,第44页,实施计划,维护,验收,需求确认,设 计,

20、开发及自测,业务测试,二阶段上线,需求确认阶段需求确认范围核实需求签字需求受控,设计阶段架构设计库表设计模块设计,开发自测阶段开发和自测交叉走查规范走查准备业务测试,测试阶段功能测试业务测试Bug修改验证测试结果签字确认准备上线,二阶段上线上线上线后抽测文档、培训和移交,始:2011-8-15终:2011-8-26,始:2011-8-19终:2011-9-05,始:2011-9-06终:2011-10-25,始:2011-10-08终:2011-10-31,始:2011-11-01终:2011-11-06,一 阶 段,二 阶 段,第46页,6月,7月,11月,9月,8月,10月,一阶段需求确认,业务测试,一阶段开发编码及自测,验收&维护,上线,2011年5月,5/27完成,7/31完成,项目启动,一阶段设计,5/18完成,8/10完成,二阶段需求,10/25完成,5/10完成,业务测试,二阶段开发及自测,备注：项目一期分两个阶段完成，一阶段从2011年5月-2011年8月，二阶段从2011年8月-2011年11月,实施计划,8/15完成,8/26完成,二阶段设计,9/05完成,10/31完成,上线,11/06完成,里程碑和交付件,