XXX商业银行数据仓库系统完整解决方案-(上半部)课件.pptx

《XXX商业银行数据仓库系统完整解决方案-(上半部)课件.pptx》由会员分享，可在线阅读，更多相关《XXX商业银行数据仓库系统完整解决方案-(上半部)课件.pptx（94页珍藏版）》请在三一办公上搜索。

1、XX商业银行数据仓库系统解决方案,XX商业银行数据仓库系统解决方案,公司介绍,高阶设计,实施方案,方案小结,最佳实践,公司介绍,总体架构,主题,Q & A,公司介绍高阶设计实施方案方案小结最佳实践公司介绍总体架构主题,3,Longtop BI基础数据平台行业背景,数据交换数据交换体系,数据加工数据处理环境+数据整合模型,数据服务综合应用平台+多层次数据服务,系统剧增；网状交换,数据化经营对数据的需求数据加工资源重复投入,业务系统减负；T+1数据需求业务创新带来应用的多样化,解决,问题,数据配套数据治理+数据安全,数据质量、数据标准、数据安全问题,3Longtop BI基础数据平台行业背景数据交

2、换数据,Longtop BI基础数据平台典型案例分析,Longtop BI基础数据平台典型案例分析,公司介绍,高阶设计,实施方案,方案小结,最佳实践,公司介绍,总体架构,主题,Q & A,公司介绍高阶设计实施方案方案小结最佳实践公司介绍总体架构主题,主题,公司介绍公司介绍总体架构主题方案小结最佳实践实施方案高阶设计,7,背景与需求,背景：整合所有的业务系统源数据，准确完整地分析南充市商业银行现有的数据及其流向，建设一套强大的基础数据平台整合系统：一阶段：核心、外汇、财务管理、信贷管理、卡平台、综合前置；六个系统二阶段：网上银行、人行支付、电话银行三个系统建设范围：基础数据平台建设KPI仪表盘业

3、务报表应用绩效考核系统,数据源接口设计公共数据标准化仓库模型设计指标库设计应用模型设计总体框架设计ETL作业设计ETL调度平台建设BI门户建设,KPI指标梳理KPI仪表盘框架设计KPI仪表盘开发及测试,业务报表梳理报表平台设计报表设计报表开发及测试,客户经理绩效考核系统调研及需求整理应用功能开发及测试数据应用开发及测试,7背景与需求背景：整合所有的业务系统源数据，准确完整地分析南,公司介绍,公司介绍,主题,背景与需求,公司介绍公司介绍总体架构主题方案小结最佳实践实施方案高阶设计,9,原则与目标,设计原则：实用性和适用性开放性、兼容性和连通性先进性高可靠性和可用性灵活性和可扩充性易维护性标准化总

4、体目标：业务目标：基础数据平台初步建设180张核心系统报表200业务报表,技术目标：系统搭建基础数据平台标准化数据进行处理，建立业务数据模型。支持主流厂商ETL、报表和展现工具。基于J2EE框架设计。采用平台化设计，支持功能性拓展。通过系统设计，保持统计结果的一致性。支持多用户并发查询报表和海量数据处理。提供报表管理功能。提供调度控制功能。包含元数据的管理功能。提供监控管理功能。支持水平扩展和垂直扩展。有效的数据质量提升策略和方法。具有数据分发和报表分发功能。支持集中式和分布式部署模式。扩充方便，修改灵活，操作简单。提供相关接口功能具有开放性，做到标准化、通用化。系统安全、可靠。按照软件工程要

5、求提供各类文档。,9原则与目标设计原则：技术目标：,系统规划蓝图,10,系统规划蓝图10,系统规划线路图,11,系统规划线路图11,逻辑架构,公司介绍,公司介绍,主题,背景与需求,总体规划,数据架构,ETL架构,物理架构,数据质量管理,运营管理,技术架构,逻辑架构公司介绍公司介绍总体架构主题方案小结最佳实践实施方案,13,本期逻辑架构,13本期逻辑架构,14,逻辑架构：系模块间关联,14,14逻辑架构：系模块间关联14,15,逻辑架构：系统间数据流向,15,15逻辑架构：系统间数据流向15,技术架构,逻辑架构,公司介绍,公司介绍,主题,背景与需求,总体规划,数据架构,ETL架构,物理架构,数据

6、质量管理,运营管理,技术架构逻辑架构公司介绍公司介绍总体架构主题方案小结最佳实践,17,技术架构,17,17技术架构17,数据架构,技术架构,逻辑架构,公司介绍,公司介绍,主题,背景与需求,总体规划,ETL架构,物理架构,数据质量管理,运营管理,数据架构技术架构逻辑架构公司介绍公司介绍总体架构主题方案小结,19,数据架构,19,19数据架构19,20,数据模型：总体设计,20,20数据模型：总体设计20数据标准层SDM基础数据层FDM团,21,数据模型：源数据缓冲层,21,层次设计源的统一数据采集区，主要存放增量数据数据结构接近于源，进行数据的临时保存可作为全行历史归档数据的提供者数据获取的两

7、种方式源卸数后主送直接抽取源系统增量获取的关键点确认增量数据的识别规则确认增量卸出的时间增量文件的接口规范定义,21数据模型：源数据缓冲层21层次设计数据标准层SDM基础数,22,数据模型：数据标准层,22,层次设计对数据缓冲层的增量数据进行标准化处理消除不同源在信息表达上的差异为后续的数据整合流程提供标准化基础标准化范围公共代码标准化数据类型标准化数据格式标准化,22数据模型：数据标准层22层次设计数据标准层SDM基础数据,23,数据模型：基础数据层,23,层次设计按主题对全行各业务系统的关键基础数据进行归类、整合和存储数据来源于数据标准层数据结构采用近源结构，可剪裁非关键数据制定数据保存策

8、略，保存全量快照或者明细表，保存关键数据的历史拉链维护稳定的主体模型，需求变更时通过辅表的方式关联，避免主体模型受到变更影响。主题划分对数据进行归类提高数据的使用便利性分为：团体、协议、事件、渠道、产品、总账、公用,23数据模型：基础数据层23层次设计,模型设计概述基础数据层,模型设计概述基础数据层,模型设计概述基础数据层（团体）,模型设计概述基础数据层（团体）,模型设计概述基础数据层（产品）,模型设计概述基础数据层（产品）,模型设计概述基础数据层（渠道）,模型设计概述基础数据层（渠道）,模型设计概述基础数据层（协议）,模型设计概述基础数据层（协议）,模型设计概述基础数据层（事件）,模型设计概

9、述基础数据层（事件）,模型设计概述基础数据层（总账）,模型设计概述基础数据层（总账）,31,数据模型： 建总ODS模型示例,31数据模型： 建总ODS模型示例,数据模型：加工汇总层,32,层次设计应用上共享的原子共性汇总，一次计算，多次共享源于应用需求，统一分析、统一提炼汇总主题划分交易汇总账户汇总客户汇总渠道汇总机构汇总,数据模型：加工汇总层32层次设计,33,数据模型：物理化,33,接口设计源是数据库时，从源直抽并直接加载到目标的直接用DataStage实现，无需接口。源是文本时，采用DataStage直接加载。文件直传由交换层直接实现，无需接口目标需要文本的，使用目标文本接口标准针对多个

10、目标的一致性应用，无需复杂处理的可以建立统一的数据视图，需要复杂处理的可以编制统一数据发布接口，为多个目标提供统一应用统一对外的XML报文接口标准存储优化设计确定索引策略确定数据存放位置确定存储分配稳定性设计不使用“select *”数据标准层SDM中尽量不删除和修改字段，只是新增字段使用辅表方式屏蔽源系统设计模型标准层入库设计数据筛选设计,33数据模型：物理化33接口设计,34,数据模型：模型设计工艺,34,划定数据范围,34数据模型：模型设计工艺34划定数据范围表级映射字段级分析,35,数据模型：模型设计工艺（示例）,35,35数据模型：模型设计工艺（示例）35,ETL架构,数据架构,技术

11、架构,逻辑架构,公司介绍,公司介绍,主题,背景与需求,总体规划,物理架构,数据质量管理,运营管理,ETL架构数据架构技术架构逻辑架构公司介绍公司介绍总体架构主,37,ETL架构,37,37ETL架构37,38,ETL组件化,38,38ETL组件化38,39,ETL并发调度,39,39ETL并发调度39,40,ETL处理集群,40,40ETL处理集群40,41,ETL最佳实践,41,工具、组件积累Datastage开发规范,常见的Datastage错误处理、经典的场景案例、DatastageAPI开发等,41ETL最佳实践41工具、组件积累Stage Name,物理架构,ETL架构,数据架构,技

12、术架构,逻辑架构,公司介绍,公司介绍,主题,背景与需求,总体规划,数据质量管理,运营管理,物理架构ETL架构数据架构技术架构逻辑架构公司介绍公司介绍总,总体物理架构,总体物理架构,44,软硬件配置：软件配置建议,44,44软硬件配置：软件配置建议44软件类别软件功能配置1基础数,45,软硬件配置：硬件配置建议,45,45软硬件配置：硬件配置建议45系统硬件配置DB Serve,数据质量管理,物理架构,ETL架构,数据架构,技术架构,逻辑架构,公司介绍,公司介绍,主题,背景与需求,总体规划,运营管理,数据质量管理物理架构ETL架构数据架构技术架构逻辑架构公司介,数据质量：度量标准,47,非功能性

13、及时性：指数据刷新、修改和提取等的及时和快速性安全性：主要包括数据在传输、使用过程中的安全性扩展性：该系统数据体系在不满足业务需求时进行扩展的可能性与复杂度,功能性完整性：主要包括实体缺失、属性缺失、记录缺失和字段值缺失四个方面唯一性：指主键唯一和候选键唯一两个方面一致性：指统一数据来源、冗余存储和统一口径的一致性准确性：指计量误差、度量单位等方面的精确度合法性：主要包括格式、类型、值域和业务规则的有效性,数据质量：度量标准47非功能性功能性,数据质量：问题根源,48,缺乏明确、一致的数据需求定义数据不正确数据不完整数据不一致缺乏统一的数据规范规范不完整规范不一致缺乏数据质量问题解决的组织和既

14、定的流程缺少合适的组织来解决质量问题缺少制定合适的解决流程,数据质量：问题根源48缺乏明确、一致的数据需求定义,数据质量：解决框架,49,成立专门的数据质量管理团队高层管理人员把控，协调不同部门，不同系统间关系。制定数据质量规则不定期发现质量问题及解决建立统一的数据质量规则统一术语规范统一通用代码禁止对数据的直接修改，以新记录方式修改数据。建立并完善数据质量问题处理流程质量问题报告协调相关部门形成数据问题处理建议和方案执行方案，反馈结果质量问题持续跟踪数据质量长期治理在治理的规范，流程支持下，建立数据质量管理平台,数据质量：解决框架49成立专门的数据质量管理团队,数据质量管理,物理架构,ETL

15、架构,数据架构,技术架构,逻辑架构,公司介绍,公司介绍,主题,背景与需求,总体规划,运营管理,数据质量管理物理架构ETL架构数据架构技术架构逻辑架构公司介,51,系统运营管理：实施工艺,51,51系统运营管理：实施工艺51,52,运营管理：系统运行管理,52,系统运维管理定制日常标准操作流程和特殊标准操作流程对系统资源的监控、对系统性能的分析数据服务情况监控和干预（到数、作业加工和供数）数据服务基线管理源系统简称、目标系统简称、源最早来数时间、源最晚来数时间文件就绪时间、数据处理结束时间、传输结束时间供数基线时间、目标系统要求数据时间、数据平台服务时间系统运行分析制定分析的指标，系统定时收集运

16、行信息阶段分析运行指标，持续调整和优化应用,52运营管理：系统运行管理52系统运维管理,53,运营管理：安全管理,53,安全策略机密性：确保信息不暴露给未授权的实体或进程。完整性：只有得到允许的使用者才能修改数据，并且能够判别出数据是否已被篡改。可用性：得到授权的实体在需要时可访问数据，即攻击者不能占用所有的资源而阻碍授权者的工作。可控性：可以控制授权范围内的信息流向及行为方式。可审查性：对出现的网络安全问题提供调查的依据和手段。系统安全设计应用与数据安全设计身份验证权限控制验证登录客户机数据传输安全数据存储安全,53运营管理：安全管理53安全策略,54,运营管理：备份与恢复,54,制定数据备

17、份策略全备份：备份系统中所有的数据；增量备份：只备份上次备份以后有变化的数据；差异备份：只备份上次完全备份以后有变化的数据；按需备份：根据临时需要有选择地进行数据备份。,制定数据恢复策略全崩溃恢复机制服务器崩溃恢复机制磁盘阵列崩溃恢复机制系统软件全崩溃恢复机制操作系统崩溃恢复机制数据库系统崩溃恢复机制部分数据丢失恢复机制单磁盘崩溃恢复机制,54运营管理：备份与恢复54制定数据备份策略制定数据恢复策略,公司介绍,高阶设计,实施方案,方案小结,最佳实践,公司介绍,总体架构,主题,Q & A,公司介绍高阶设计实施方案方案小结最佳实践公司介绍总体架构主题,高阶设计,公司介绍,公司介绍,总体架构,主题,

18、数据交换,ETLPLUS调度监控,综合报表应用,实施工艺促进,非功能性,BIOFFICE报表平台,数据加工,高阶设计公司介绍公司介绍总体架构主题方案小结最佳实践实施方案,57,数据交换：整体架构,57,57数据交换：整体架构57,58,数据交换：组件部署,58,数据传输客户端查询某个节点上某个数据文件是否存在。将本地数据文件安全，完整，快速的传输到指定的节点。将指定节点上的数据文件安全，完整，快速的下载到本地。数据接收服务端提供安全认证。提供数据传输服务相关管理功能,58数据交换：组件部署58,59,数据交换：数据采集,59,定向推送源系统自行判断数据可以卸载的时刻，使用通用的卸载程序卸载文本

19、。 卸载后处理调用传输客户端的传输命令传输程序完成文件接收操作,记录数据的状态信息；文件名称标准化事件通知文件到达传输程序结束文件传输操作。触发调度流程、加工作业调起主动抽取系统扫描约定信号（数据库状态）或约定时间触发就绪事件通知，进一步触发ETL抽取作业调度进行抽取,59数据交换：数据采集59定向推送,60,数据交换：数据发布,60,数据发布触发方式ETL加工作业成功完毕通过管控系统进行补发等干预数据发布方式直传ETL加工后传输直接加载直接下载（不建议）,数据发布接口双文件发布控制文件接口规范（file-name,file-size,file-row）数据文件接口规范文件名规范$SOURCE

20、_SYSTEM_$TARGET_SYSTEM_$TABLE$DATE_$BATCH.dat文件内容规范定长，分隔符，换行符填充符(补空格方式)码制(GBK,ASCII),60数据交换：数据发布60数据发布触发方式数据发布接口,61,数据交换：全行数据交换通道,61,数据加工,数据源,EDW,ADM,FDM,ODS,分行数据平台,分行管理信息系统,分行特色系统,总行,分行,目标数据缓冲层,公共加工层,基础数据层,数据标准层,源数据缓冲层,目标系统,分析型应用,BI类应用,近实时类应用,操作数据服务,分行数据下发服务,业务快报服务,历史数据应用,总行批量数据服务,数据交换,数据采集,数据发布,数据

21、管控,安全管理,数据治理,数据标准管理,元数据管理,数据质量管理,调度引擎,监控管理,工具集（ETL|SP|SCR）,自动化工程,61数据交换：全行数据交换通道61数据加工数据源核心系统零售,62,62,数据交换：配置示例（1）,6262数据交换：配置示例（1）,63,63,数据交换：配置示例（2）,基本选项：传输任务名输入端信息目标信息传输执行计划传输日历是否就绪文件前置传输任务,高级选项：分发模式：自动方式、手工方式传输方式：cp拷贝/ln连接/文件传输程序/其他压缩参数：0:不压缩，1:gzip压缩拆分参数：按拆分参数的值对文件进行拆分，并生成拆分后的文件列表如：填1073741824表

22、示把文件拆分成的若干个1073741824字节的小文件再传给目标。优先级：按规范分为级：80（最低）、55、40、20、1（最高）,6363数据交换：配置示例（2）基本选项：高级选项：,数据加工,高阶设计,公司介绍,公司介绍,总体架构,主题,数据交换,ETLPLUS调度监控,综合报表应用,实施工艺促进,非功能性,BIOFFICE报表平台,数据加工高阶设计公司介绍公司介绍总体架构主题方案小结最佳实践,正常处理流程ETL过程框架,65,正常处理流程ETL过程框架65,66,异常处理流程,66,错误数据处理,66异常处理流程66错误数据处理异常类型异常小类产生原因处理,67,ETL加工组件示例常用组

23、件,67,全量求增量清洗检核,标准代码转换,67ETL加工组件示例常用组件67全量求增量标准代码转换,ETL加工组件示例-通用检核规则,68,ETL加工组件示例-通用检核规则68规则名称子规则名称规则描,69,ETL加工组件示例-成熟组件支持,69ETL加工组件示例-成熟组件支持 程序名称类型功能说明H,ETLPLUS调度监控,数据加工,高阶设计,公司介绍,公司介绍,总体架构,主题,数据交换,综合报表应用,实施工艺促进,非功能性,BIOFFICE报表平台,ETLPLUS调度监控数据加工高阶设计公司介绍公司介绍总体架,71,ETL PLUS平台架构,71,71ETL PLUS平台架构71,72,

24、ETL PLUS调度逻辑架构,72,72ETL PLUS调度逻辑架构72,73,ETL PLUS调度技术架构,73,73ETL PLUS调度技术架构73,74,ETL PLUS调度功能,74,外部事件通知主服务程序事件接收进程池事件处理进程池作业调度进程池定时事件处理进程监控进程资源管理模块作业调度代理JSI作业调度接口,74ETL PLUS调度功能74外部事件通知,75,ETL PLUS调度模式,75,作业调度时机外部事件就绪：比如源系统文件到达，源系统库表就绪。时间到：某个时刻到达。作业完成：需要其依赖的作业完成。作业调度通道一般通道：大部分作业将在一般通道运行。专用通道：指运行某一类作业

25、的通道。比如大作业，运行在专用通道上，可使其不影响一般作业的处理。VIP通道：对于结息，年结这些特殊场景的处理，运用VIP通道，确保这些作业得到最优的资源进行处理。异常处理自动修复类：调度管理器会间隔一定的时间，自动尝试恢复。比如事件到达，但文件还没到（网络存储系统的延迟造成）。人工干预类：则需要运维人员，根据具体的异常类型，进行手工处理，此信息登记到全局异常表，通过管控平台展示。,75ETL PLUS调度模式75作业调度时机,76,ETL PLUS调度示例：配置作业,76,加入一个新作业加入作业来源,加入依赖作业,76ETL PLUS调度示例：配置作业76加入一个新作业加入,77,ETL P

26、LUS调度示例：并发调度配置,77,77ETL PLUS调度示例：并发调度配置77,78,ETL PLUS资源监控,78,资源监控运行概况监控,到数、供数监控作业监控,78ETL PLUS资源监控78资源监控到数、供数监控,79,ETL PLUS故障干预与运维报表,79,故障干预运维报表,79ETL PLUS故障干预与运维报表79故障干预,BIOFFICE报表平台,ETLPLUS调度监控,数据加工,高阶设计,公司介绍,公司介绍,总体架构,主题,数据交换,综合报表应用,实施工艺促进,非功能性,BIOFFICE报表平台ETLPLUS调度监控数据加工高阶设,81,BI.Office报表平台逻辑架构,

27、81,81BI.Office报表平台逻辑架构81,82,BI.Office报表平台功能架构,82,82BI.Office报表平台功能架构82,83,BI.Office报表平台功能,83,选择报表模板浏览报表切换报表参数获取报表原始数据刷新；获取报表存档数据刷新；数据回写（到用户指定的数据源）实现报表存档及其回退（在中间数据库中保存报表数据）实现审核及其回退权限许可条件下自由汇总数据转换（舍位问题的）表内校验表间校验全局校验规则执行表内取数表间取数全局取数规则执行展示汇总下级数据打印导出excel等格式,83BI.Office报表平台功能83选择报表模板浏览报表,84,BI.Office报表平台

28、报表开发,84,84BI.Office报表平台报表开发84,85,BI.Office报表平台灵活查询定制,85,85BI.Office报表平台灵活查询定制85,86,BI.Office报表平台仪表盘,86,86BI.Office报表平台仪表盘86,BI.Office报表平台表内/表间校验,BI.Office报表平台表内/表间校验,BI.Office报表平台补录回写,BI.Office报表平台补录回写,BI.Office报表平台汇总,汇总定义汇总结果,BI.Office报表平台汇总汇总定义,BI.Office报表平台SQL查询定制,BI.Office报表平台SQL查询定制,BI.Office报表平台存储过程查询定制,BI.Office报表平台存储过程查询定制,BI.Office报表平台跳转查询,BI.Office报表平台跳转查询,综合报表应用,BIOFFICE报表平台,ETLPLUS调度监控,数据加工,高阶设计,公司介绍,公司介绍,总体架构,主题,数据交换,实施工艺促进,非功能性,综合报表应用BIOFFICE报表平台ETLPLUS调度监控数,94,Q&A,谢 谢 ！,94Q&A谢 谢 ！,