商业银行数据仓库中元数据下载平台开发硕士研究生学位论文.doc

分类号： TP311.5 单位代码： 10335 密 级： 无 学 号： Z104325023硕士学位论文中文论文题目 ： 商业银行数据仓库中元数据 下载平台开发 英文论文题目：The downloading platform development for commercial bank data warehouse metadata 商业银行数据仓库中元数据 下载平台开发   摘要笔者在对银行数据仓库平台的开发和维护实践基础上，针对目前商业银行数据仓库开发平台的一些缺陷而提出的一套可配置、组件化、易操作的数据下载系统。建立统一的开发技术规范，包括元数据技术规范、主辅数据源分布规范、数据生命周期管理规范、数据质量规范等。其中主辅数据源分布规范保证了数据下载的过程中，抽取数据分布合理、提高应用系统运行的整体效率、保证应用系统健康高效运行。数据生命周期管理规范保证有效控制在线数据规模，提高生产数据访问效率，减少系统资源浪费。数据质量规范提高了数据管理水平、规范数据质量管理流程、及时准确地发现和治理问题数据，保证应用数据质量。建立统一的应用系统数据模型设计规范。该规范明确了数据模型设计要求、明确设计原则、加强数据结构的逻辑视图管理，提高数据建模的质量。提供了一种可配置的参数化组件，这些组件最终被组装成复杂的数据仓库数据下载系统中。通过“抽取逻辑组件化，文件格式参数化”的方法大大减少了数据下载的开发工作量，随着组件的逐步丰富，基本可以实现“零编码”，同时也极大简化了测试步骤，我们只需利用现有的功能组件，按照一定的规则和逻辑把它们拼装组合在一起，就可以完成数据下载的开发，使得元数据抽取、文本生成、上报数据仓库过程更加高效、稳定、规范。关键词：数据仓库，元数据，数据抽取，下载，规范AbstractAccording to banking data warehouse platform development and maintenance practices, the author put forward a number of defects can be configured, component, conveniently operated system for the current data warehouse development platform of the commercial bank.The thesis contained a development technical specifications, including metadata specification, primary and secondary data sources distributed specification, data life cycle management specification, data quality specification. Distribution of primary and secondary data sources including specification ensures data download process, extract data distribution is reasonable, to improve the overall efficiency of the system. Data life cycle management practices to ensure effective control of online data scale, improve production efficiency of data access and reduce resource waste. Data quality specification improve data management, standardize data quality management process, timely and accurate discover and control data issue, ensure data quality of applications.It established a unified data model application system design specifications. The specification defined the data model design requirements, cleared design principles, the logical view of the data structure to strengthen management, for improving the quality of data modeling.By providing a configurable parameters of components, which would be eventually assembled into complex data warehouse data download system. By the method of "extract of logic components, format the file parameters" will greatly reduce the development workload, along with the gradual rich components, which can be "zero code", but also greatly simplifies the test procedure, we only require the use of existing functional components, according to certain rules and logic assembled them together, you can complete the development of data download, making meta-data extraction, text generation, data warehouse reporting process will be more efficient, stable and standardized.Key Words：Data warehouse, metadata, data extraction, downloads, specification 目录摘要iAbstractii图目录IV表目录V第1章 绪论11.1 课题背景11.2 本文的主要工作31.3 本文的组织结构31.4 本章小结4第2章 元数据、数据仓库的概念及对银行业的作用12.1 元数据的概念12.2 元数据的特点12.3 元数据对商业银行的作用12.4 数据仓库的概念22.5 数据仓库的特点22.6 数据仓库对银行业务的支撑32.7 数据仓库的应用与优势52.8 本章小结8第3章 国内商业银行数据仓库93.1 发展阶段与目标93.2 数据仓库建设规划和集市整合123.3 数据仓库体系的定位173.4 数据仓库体系的功能173.4.1 数据仓库的功能173.4.2 数据集市的功能183.4.3 综合统计的功能193.4.4 数据挖掘的功能193.5 数据仓库建设方法和路线203.6 ETL203.6.1 ETL简介203.6.2 ETL概念213.6.3 注意事项223.6.4 设计要求223.7 数据仓库元数据下载介绍233.7.1 数据抽取的方式233.7.2 数据抽取的工作步骤253.8 本章小结25第4章 元数据下载平台实现264.1 元数据技术规范264.1.1 术语与定义264.1.2 元数据的范围和管理方法274.1.3 数据标准284.1.4 专业术语324.1.5 数据流文件334.1.6 数据结构364.1.7 数据质量规则404.2 主辅数据源分布技术规范414.2.1 术语与定义414.2.2 主辅数据源管理原则414.2.3 主数据源分布原则424.2.4 辅数据源分布原则434.2.5 数据间使用和同步原则434.3 数据生命周期管理技术规范454.3.1 术语与定义454.3.2 数据生命周期引用模式474.3.3 数据生命周期管理原则484.3.4 各阶段数据管理494.4 数据质量技术规范504.4.1 数据质量规则514.4.2 数据质量的开发要求524.4.3 技术检查534.5 应用系统数据模型设计技术规范564.5.1 术语与定义564.5.2 数据模型管理584.5.3 逻辑数据模型设计步骤594.5.4 模型实体设计原则604.5.5 特殊设计要求684.6 元数据下载方式的设计704.6.1 数据生成方式704.6.2 元数据下载配置设计714.6.3 元数据下载配置注意要点794.6.4 元数据下载配置实例794.7 本章小结84第5章 元数据下载平台实现855.1 系统运行的软硬件环境855.2 系统架构855.3 系统架构图865.4 系统测试及运行情况865.4.1 集成测试865.4.2 系统测试875.4.3 压力测试885.4.4 运行情况885.5 本章小结89第6章 未来发展方向与总结90参考文献92作者简历94致谢95图目录图 3.1 数据仓库的发展阶段9图 3.2 数据仓库建设规划11图 3.3 数据仓库的发展阶段12图 3.4 三种应用模式13图 3.5 数据仓库体系组织架构规划14图 3.6 组织架构中职能岗位架构规划14图 3.7 数据仓库体系应用架构规划16图 4.1 元数据管理范围27图 4.2 数据标准之间的关系29图 4.3 数据生命周期中数据引用曲线47图 4.4 在线阶段进行快照（备份）后在线阶段数据与快照数据冗余存储47图 4.5 数据模型管理体系58图 4.6 当事人逻辑数据模型59图 4.7 分户账60图 4.8 统计表61图 4.9 机构代码表61图 4.10 产品优惠率参数表62图 4.11 账户历史明细表63图 4.12 冻结解冻登记簿64图 4.13 对账单打印控制表64图 4.14 新旧账号对照表66图 4.15 对账单余额历史表66图 4.16 日志表层次关系67图 4.17 父子类实体的物理实现69图 4.18 父子类实体的物理实现70图 4.19 export_project表80图 4.20 export_project_table表80图 4.21 存量参数81图 4.22 增量参数82图 4.23 存量数据生成逻辑83图 4.24 新增、修改数据的情况83图 4.25 删除数据的情况84图 5.1 元数据下载平台系统总体逻辑架构85图 5.2 系统架构图86表目录表2.1 数据仓库系统的业务价值5表2.2 数据仓库支持的应用6表3.1 各职能岗位相应的职能15表4.1 基本属性29表4.2 技术属性30表4.3 扩展属性（代码信息）30表4.4 命名标准31表4.5 存储标准31表4.6 取值字典32表4.7 专业术语32表4.8 文件基本信息33表4.9 主机文件结构（COPYBOOK）信息34表4.10 开放平台文件结构信息34表4.11 文件目录信息35表4.12 通用文件传输信息35表4.13 文件的使用情况36表4.14 表结构基本信息组件37表4.15 表结构信息组件38表4.16 索引、分区信息38表4.17 生命周期组件信息39表4.18 主辅数据源信息管理40表4.19 数据质量规则要求管理的组件信息40表4.20 银行业务系统九大主题领域下的数据信息的分布细则44表4.21 在线阶段数据生命周期管理内容49表4.22 归档阶段管理内容50表4.23 数据质量规范51表4.24 数据库定义中的控制52续表4.24 数据库定义中的控制53表4.25 数据的技术检查53表4.26 业务逻辑检查54表4.27 金额类数据检查55表4.28 传输环节检查56第1章 绪论1.1 课题背景在数据仓库应用领域处于领先地位的先进银行，经历了20多年的建设和积累，总结提炼了一套数据仓库业务应用框架，包括客户关系管理、财务管理、绩效管理、风险管理、信息管理5大领域的近30多种应用。而国内银行的数据仓库建设起步较晚，以某大型国有银行为例：2000年底开始着手启动全行数据仓库体系的建设。目前已经构建了客户分析（PCRM、CCRM）、业绩考核（PVMS，PASN）、风险管理（风险监控、反洗钱、内部评级法、内部审计）、资产负债管理（利率风险）、统计报表（CS2002）等分析型应用，并正在发挥着重要的业务作用；目前已立项，正在规划或建设的分析型应用有：统计报表指标库、资本管理、市场风险、内控合规等操作风险； 2004年9月05年1月：数据仓库逻辑数据模型客户化建设项目； 2005年5月12月：数据仓库物理平台选型测试项目； 2006年4月07年2月：商务采购和招标； 2007年4月：该行启动了数据仓库物理实施一期项目。从功能架构及技术特征上看，该行的数据仓库主要具有报表、分析等功能，基本满足业务用户考察业务上“发生了什么”、“为什么发生”的需要，处于业界数据仓库发展的第二向第三阶段的过渡阶段。该行数据仓库应用的不足：数据仓库之间存在一定程度的数据重复下载、重复加工和冗余存储；数据仓库之间的加工规则和流程不同，容易产生结果的不一致；数据仓库各自独立，信息集中共享程度较低，不能满足跨系统、跨产品的关联性、综合性分析；数据交换平台不保留历史数据，难以实现历史数据加工，以及出现差错难以追溯补救；缺乏完整规范的数据质量检查、监控机制，数据质量难以保证；数据仓库的数据范围、存放周期和详尽粒度存在局限，难以支持应用的扩展要求；前台业务系统有变化，相关的仓库都要进行维护；各个仓库的设备资源较难共享利用，加大维护管理成本；仓库平台处理能力有限，无法支撑海量数据存储和处理；仓库之间的数据交互日趋密切和复杂；本文从待抽取数据的筛选、抽取、加工以及下载的方面，经过进一步的分析和讨论后，认为当前该过程中存在的问题如下：1、各应用开发缺少统一的规范商业银行在开发新的中间业务的时候，往往针对一种业务开发一套产品，产品之间缺少统一的规范。产品之间各自为政，缺少相关的整合，而且通常运行在不同的硬件、操作系统和数据库之上，采用的开发语言也五花八门，给元数据的筛选、抽取带来较大的困难。2、每次数据结构的变化都必须同步编写相应的上送程序传统的数据抽取和生成通常使用配套的编程方式来匹配，在这种模式下，匹配程序的开发将逐渐成为数据抽取和生成的负担，因为每次数据结构的变动都会引起程序的修改，都必须对涉及到的程序重新进行编译、测试，这将大大影响抽取和上报程序的开发效率，不利于数据仓库的快速发展。3、模块复用性不高商业银行在数据仓库的建设过程中重点考虑了集中处理和调度，但对数据结构变化的支持力度还不够，开发部仍然采用传统的方法设计和编写相应程序，模块复用等仍然停留在源码或程序库的水平，模块复用程度和开发效率都不高。4、参数配置化程度不够部分商业银行数据抽取采取了参数配置化手段，但参数配置化的程度还不够，还没有真正提炼出数据结构的通用资源模型，开发人员在开发过程中往往根据不同的数据结构匹配不同的编码，不能够配置的部分还需要通过编码或手工编写配置文件的方式解决，这在很大程度上影响了数据抽取生成和上送的效率。本文结合目前商业银行数据仓库的发展现状，分析面临的关键问题，探讨如何实现处理模块的组件化、参数的配置化、操作的简单化等功能，能够加快商业银行数据仓库的建设、有效数据的抽取分析、提供决策支持，满足商业银行日益增加的数据挖掘要求，增强商业银行在同业中的竞争力。1.2 本文的主要工作笔者在对银行数据仓库平台的开发和维护实践基础上，针对目前商业银行数据仓库开发平台的一些缺陷而提出的一套可配置、组件化、易操作的参数平台系统。本文完成的主要工作有：1、建立统一的开发技术规范，包括元数据技术规范、主辅数据源分布规范、数据生命周期管理规范、数据质量规范等。其中主辅数据源分布规范保证了数据下载的过程中，抽取数据分布合理、提高应用系统运行的整体效率、保证应用系统健康高效运行。数据生命周期管理规范保证有效控制在线数据规模，提高生产数据访问效率，减少系统资源浪费。数据质量规范提高了数据管理水平、规范数据质量管理流程、及时准确地发现和治理问题数据，保证应用数据质量。2、建立统一的应用系统数据模型设计规范。该规范明确了数据模型设计要求、明确设计原则、加强数据结构的逻辑视图管理，提高数据建模的质量。3、提供了一种可配置的参数化组件，这些组件最终被组装成复杂的数据仓库数据下载系统中。通过“抽取逻辑组件化，文件格式参数化”的方法大大减少了数据下载的开发工作量，随着组件的逐步丰富，基本可以实现“零编码”，同时也极大简化了测试步骤，我们只需利用现有的功能组件，按照一定的规则和逻辑把它们拼装组合在一起，就可以完成数据下载的开发。此系统投入运行后，显示了其稳定性、可靠性、易维护性，这些也都得益于开发过程中工程化方法的运用。在工程化之外，先进的系统框架结构和良好的设计思想也为系统的成功研发打下了坚实的基础。1.3 本文的组织结构第一章分析了国内外商业银行数据仓库的建设现状，数据仓库对于商业银行的必要性。第二章介绍了元数据、数据仓库的基本概念，商业银行使用元数据、数据仓库的作用，主要介绍了银行业使用元数据、数据仓库的好处以及当前的运行和维护中的一些缺陷，和需要解决的主要问题。第三章描述了国内商业银行业数据仓库的规划，当前的建设情况，以及商业银行对数据仓库的要求。第四章论述了针对商业银行数据仓库数据下载面临的主要问题，以及提出了具体的解决方案。以及阐述了笔者的主要工作和创新点。第五章阐述了商业银行数据仓库数据下载系统的软硬件需求、系统部署、投产前各阶段测试情况、以及投产后系统运行情况。第六章阐述了商业银行数据仓库系统未来的发展方向。第七章对全文进行了总结。1.4 本章小结本章主要介绍了现阶段国内外商业银行数据仓库发展的现状及重要性，以及国内外商业银行数据仓库的对比，分析数据仓库数据下载开发面临的通用问题，探讨如何采用统一规范、可配置和参数化方法等构造商业银行数据仓库数据下载开发与运行平台。实现数据下载的规范化、组件化、配置化等功能，能够加快商业银行数据仓库下载平台的开发，满足商业银行数据仓库建设的发展需求，增强商业银行在同业中的竞争力，另外，我们还列出了本文的主要研究内容，研究目标以及文章的组织结构。第2章 元数据、数据仓库的概念及对银行业的作用2.1 元数据的概念元数据是关于数据的组织、数据域及其关系的信息，简言之，元数据就是数据的数据。商业银行数据仓库中的元数据是关于银行的业务数据和技术数据的数据，用以描述商业银行数据仓库的主题信息、逻辑和物理数据模型、非结构化信息、外部数据源、数据的粒度与分割定义、数据及质量的管理方法以及其他数据信息。2.2 元数据的特点（1）元数据是关于数据结构化的数据，这些数据不一定是数字的形式，可能来自不同的数据源。（2）元数据是与对象有关的数据，这些数据可以使它潜在的用户无须先具备对这些对象存在及其特征的完整认识。（3）元数据不仅对信息本身进行描述，还可以描述资源的使用情况、管理、加工和使用等方面的情况。（4）元数据通常定义中的“数据”是表示事物性质的符号，是进行各类统计、运算、研究、设计所依赖的数值，或者指公式化、数字化、图标化的信息。2.3 元数据对商业银行的作用商业银行元数据能够有效帮助业务人员与技术人员理解、监控、管理数据源、转换规则、数据变更等信息，进而提高工作效率，保证银行各项工作顺利开展，其作用主要体现在以下几个方面：（1）统一的元数据规范能够显著提高信息技术人员与数据分析人员对数据进行分析、挖掘的效率。（2）元数据能够支持系统对数据进行管理和维护，如关于数据项生成方法的元数据能够支持系统以最低资源占用的方式访问数据。（3）元数据是数据仓库最基本的描述，包括设计模式、视图、层次结构等核心要素信息。2.4 数据仓库的概念目前，数据仓库一词尚没有一个统一的定义，著名的数据仓库专家W.H.Inmon在其著作Building the Data Warehouse一书中给予如下描述：数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策1。对于数据仓库的概念我们可以从两个层次予以理解，首先，数据仓库用于支持决策，面向分析型数据处理，它不同于企业现有的操作型数据库；其次，数据仓库是对多个异构的数据源有效集成，集成后按照主题进行了重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改2。数据仓库系统的实施不同于传统的信息系统，它是萃取原始数据转换成决策信息，进而衍生企业智慧的一段旅程。数据仓库的价值体现在深度运用中，用于持续改善的过程，而非一个短暂的项目。2.5 数据仓库的特点1、面向主题操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织的。2、集成的数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除原始数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。3、相对稳定的数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。4、反映历史变化数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测3。2.6 数据仓库对银行业务的支撑美国著名的信息工程学家W.H.Inmon曾说，数据仓库是一个环境，而不是一件产品。对于环境的建设和完善，自然不是一朝一夕的事。1992年，有着300年历史的英国巴克莱银行（隶属巴克莱集团，从事银行金融服务已经有超过300年历史，目前是英国第二大银行，员工约75000人，在全球70多个国家设有分支机构，除向全球客户提供对零售和对公的银行服务外，还提供投资和资产管理的专家服务。在英国，巴克莱设有约2000个分支机构，其个人客户超过1000万，信用卡发卡量930万张，是欧洲最大的信用卡发卡行）出现首度的财政亏损。由于英国经济低迷，到期的大量信贷遭到损失。巴克莱的管理者急于寻找一种改变这种境遇的方法，希望能够更准确地预测每一笔贷款的违约风险，并且使其资产组合尽可能多样化，以最大程度地减少市场震荡所带来的影响。为了实现这样的目标，巴克莱的管理人员认为，需要收集尽可能多的客户信息，通过分析贷款客户过去的历史数据来预测其未来的行为，以更准备地了解其偿还贷款的可能性，并及早采取相应的措施。1993年4月，在考察了路透社、英国航空公司等企业使用数据仓库技术的情况后，巴克莱银行决定给予NCR Teradata来建立其信息仓库平台BIW（Barclays Information Warehouse）。目前向BIW提供数据的业务系统约100个，基本涵盖了巴克莱银行现有的各个业务系统。数据仓库中的数据实体约为24000个，每个月刷新的数据量约为1300GB，每月的使用统计：业务查询与分析任务：554,800（平均每天18,500个业务查询任务）数据插入任务：490,200数据更新任务：74,700数据阐述任务：22,200从业务功能角度来看，巴克莱银行数据仓库的业务应用可以概括为以下两个主要方面。基本功能：单一的客户信息视图；整合来自多个操作数据源的数据；保存历史信息，可以对不同时间段的数据进行比较；形成一致的信息视图，可以真实地了解每个客户、每个客户分组、每个客户经理、每种产品、每个机构等的特性和利润贡献；跟踪并分析每个市场细分；数据挖掘；使业务人员对他们客户的行为了解更为透彻。高级功能：客户管理、产品管理、销售管理、市场细分、信用风险分析。巴克莱银行在过去三年中，贷款年增长约20%，而贷款坏账核销则从0.7%下降为0.15%。通过实施有针对性的事件行销，成功率达24%。2002年比2001年增加股东价值2700万英镑。巴克莱银行首席信息官David Weymouth表示：将现有的、分散的数据仓库平台集中起来帮助我们大幅降低运营成本。此外，透过业务运营和客户数据的统一视图，银行各业务部门将充分享有信息增值带来的优势，进而协助企业做出更全面、更迅速的决策4。临渊羡鱼，不如退而结网。我国各大商业银行应尽快开始规划并实施企业级数据仓库，以应对中国加入WTO后所面临的各种挑战。在国内，数据仓库应用领域处于领先地位的先进银行，经历了20多年的建设和积累，总结提炼了一套数据仓库业务应用框架，包括客户关系管理、财务管理、绩效管理、风险管理、信息管理5大领域的近30多种应用。客户关系管理：客户细分、客户获取、客户挽留、客户净值提高、目标市场营销、交叉销售/向上销售、营销活动管理等。财务管理：监管报表/信息披露、总账分析、财务盈利分析、财务预算与计划、预测与情景分析、动态财务报告等。绩效管理：产品、解构（部门）绩效考核、渠道绩效考核、员工（客户经理）绩效考核、业务量考核等。风险管理：合规与披露、信用风险管理、市场风险管理、操作风险管理、全面风险管理、流动性管理、利率管理、资本管理、反欺诈与反洗钱等。信息管理：企业数据整合、元数据管理、数据质量管理、数据有效期管理、数据安全管理、数据模型管理等。国内商业银行经过几年的开发，也积累了一系列客户关系、风险、绩效等分析型数据仓库应用。如何在数据仓库投产后，借鉴国外先进银行的经验，结合国内商业银行业务发展策略和应用现状推进数据仓库的建设，也是面临的重大挑战。2.7 数据仓库的应用与优势数据仓库在银行的应用范围包括存款分析、贷款分析、客户市场分析、相关金融业分析决策（证券、外汇买卖）、风险预测、效益分析等。数据仓库的最大优点在于它能把企业网络中不同信息岛上的商业数据集中到一起，存储在一个单一的集成的数据库中，并提供各种手段对数据进行统计、分析、并且允许企业的各个部门共享数据，为企业更快、更好地做出商业决策提供更加准确、完整的信息。数据仓库可以在竞争力、客户、风险、利润、组织机构等几个方面对银行产生影响，例如：银行可以根据数据仓库中的信息做出决策，响应日益严峻的竞争，不断使用新的技术，使业务和产品的革新进一步全球化。银行可以利用数据仓库支持和把握以下业务：传统业务的发展趋势；产品之间的差距和机会；银行业务行为和绩效；银行的经营目标；交叉销售的机会；市场细分；交易渠道使用情况；竞争对手的产品；合理的价格。一旦数据仓库中的信息按照上述方式进行组织，银行就可以通过以下机会获得业务优势：市场促销、产品客户化、产品包装、银行业务评估、绩效跟踪、交叉销售、风险管理、渠道使用情况、设定优惠价格、竞争对手联盟、客户份额预估、费用预先确定。数据仓库系统的业务价值有：表2.1 数据仓库系统的业务价值业务领域应用功能涉及方面客户关系管理客户细分、客户获取、客户挽留、客户净值提高、目标市场营销、交叉销售/向上销售、营销活动管理个人金融业务、银行卡业务、信贷管理业务、结算与现金管理业务、公司业务、机构销售业务、电子银行业务、管理信息业务财务管理监管报表/信息披露、总账分析、财务盈利分析、财务预算与计划、预测与情景分析、动态财务报告财务会计业务、管理信息业务续表 2.1 数据仓库系统的业务价值绩效管理产品、机构（部门）绩效考核、渠道绩效考核、员工（客户经理）绩效考核、业务量考核财务会计业务、人力资源业务、个人金融业务、银行卡业务、结算与现金管理业务、信贷管理业务、电子银行业务风险管理合规与披露、信用风险管理、市场风险管理、操作风险管理、全面风险管理、流动性管理、利率管理、资本管理、反欺诈与反洗钱风险管理业务、金融市场业务、运行管理业务、资产负债管理业务、内部审计业务、内控合规业务、管理信息业务、信贷管理业务、个人金融业务、银行卡业务、结算与现金管理业务、电子银行业务信息管理企业数据整合、元数据管理、数据质量管理、数据有效期管理、数据安全管理、数据模型管理管理信息业务、信息科技业务另外，数据仓库支持下述方面的大量应用：表2.2 数据仓库支持的应用资产负债管理电子银行人力资源信用卡财务会计私人银行风险管理GCIB房地产银行企业银行全球资金服务中小企业资金市场营销电话银行以针对高端客户提供服务的私人银行业务，主要的应用有：客户细分：1、建立客户的单一视图2、精确计算客户利润贡献度3、对不同类型的客户实施不同的服务策略产品/渠道喜好：1、提供合适的产品给客户，提高其利润贡献2、计算，跟踪市场营销活动的成本3、缩短营销活动的周期客户保留：1、有效识别值得重点营销的客户2、保留现有的高利润客户3、改善不同业务领域客户的流失率产品购买倾向：1、了解客户的消费购买特征2、为不同产品寻找相应的目标客户群3、准备分析、定位客户将来可能购买的产品以美国某银行为例：该银行在推销信用卡时，在数据仓库中找出了25万个经常有信用卡消费、收入稳定、信用度较好但又没有使用信用卡的客户，向他们寄去已经填好的信用卡申请表格，并承诺给予一定的优惠，客户只需签名即可申请到信用卡，结果这次促销活动的回应率达30%，经后评估发现该家银行由此获到了6万个高贡献度的信用卡客户5。通过使用数据仓库，使得该银行在第一年的成本节约大概八千五百万美元，第一年的投资不超过四千三百万美元，年度维护成本节约了一千一百万至一千四百万美元。在风险管理方面的主要应用：1、数据仓库能提供10年的明细历史数据，供后续分析2、每个月对八万位公司客户进行评分3、使用账户级的利润贡献度分析来管理和定价4、设计、实施信用评分卡，辅以各种分析来为信用风险的监控政策，避险等提供决策支持5、符合监管要求的反欺诈监控和识别6、帮助建立、监控和改进信贷政策，改善信用风险管理7、风险管理的最终“产品”是为银行创造出高质量的现金流2.8 本章小结本章主要介绍了数据仓库的相关概念、特点，以及商业银行使用数据仓库所带来的好处，着重介绍了英国巴克莱银行数据库建设和使用数据仓库，以及后者带来的经济效益。数据仓库最大的贡献是不仅仅作为一个单纯的报表系统，它允许业务用户直接进行动态分析和信息访问，以真正起到决策支持的作用。数据仓库可以将现有的、分散的数据孤岛集中起来并大幅度降低运营成本6。此外，透过业务运营和客户数据的统一视图，银行各业务部门将充分享有信息增值带来的优势。巴克莱银行将数据统一到仓库中，已成为欧洲很多金融机构的普遍做法。第3章 国内商业银行数据仓库3.1 发展阶段与目标随着查询复杂度、负载复杂度，以及银行数据复杂度的不断增长，数据仓库应用至目前共经历了五个发展阶段7。图 3.1 数据仓库的发展阶段1、2000年底开始着手启动全行数据仓库体系的建设。目前已经构建了客户分析（PCRM、CCRM）、业绩考核（PVMS，PASN）、风险管理（风险监控、反洗钱、内部评级法、内部审计）、资产负债管理（利率风险）、统计报表（CS2002）等分析型应用，并正在发挥着重要的业务作用；2、目前已立项，正在规划或建设的分析型应用有：统计报表指标库、资本管理、市场风险、内控合规等操作风险；3、2004年9月05年1月：数据仓库逻辑数据模型客户化建设项目；4、2005年5月12月：数据仓库物理平台选型测试项目；5、2006年4月07年2月：商务采购和招标；6、2007年4月：启动了数据仓库物理实施一期项目。从功能架构及技术特征上看，数据集市主要具有报表、分析等功能，基本满足业务用户考察业务上“发生了什么”、“为什么发生”的需要，处于业界数据仓库发展的第二向第三阶段的过渡阶段。现阶段数据仓库应用的不足：1、数据集市之间存在一定程度的数据重复下载、重复加工和冗余存储；2、数据集市之间的加工规则和流程不同，容易产生结果的不一致；3、数据集市各自独立，信息集中共享程度较低，不能满足跨系统、跨产品的关联性、综合性分析；4、数据交换平台不保留历史数据，难以实现历史数据加工，以及出现差错难以追溯补救；5、缺乏完整规范的数据质量检查、监控机制，数据质量难以保证；6、数据集市的数据范围、存放周期和详尽粒度存在局限，难以支持应用的扩展要求；7、前台业务系统有变化，相关的集市都要进行维护；8、各个集市的设备资源较难共享利用，加大维护管理成本；9、集市平台处理能力有限，无法支撑海量数据存储和处理；10、集市之间的数据交互日趋密切和复杂解决以上问题的关键：建立集中式数据仓库系统。最终目标：1、面向银行业务主题、按照数据仓库逻辑模型的结构来组织