银行金融领域数据大集中之路.ppt

金融领域数据大集中之路,内容提要,数据大集中的背景工行数据大集中的建设历程数据大集中过程中的关键技术及难点工行数据大集中带来的好处工行实施数据大集中后面临的挑战及对策,数据大集中的背景,为什么要实施数据大集中?数据大集中的前提条件,为什么要实施数据大集中,外部驱动力,为什么要实施数据大集中,内部驱动力,为什么要实施数据大集中,业务驱动：业务发展和创新速度不断加快，新业务的技术实现和市场化速度要求越来越快技术驱动：软硬件产品成熟度以及通讯网络质量稳定性不断提高，一个集中、统一、整合的技术平台可以更好地为业务发展与创新提供强有力的支持，可以更好地为客户提供统一服务水平和质量的标准化服务管理驱动：成本、效益、质量、风险管理；企业内部变革和管理流程再造，要求全面打造决策支持、经营管理、业务操作三个层面的企业核心竞争力服务驱动：真正实现“以客户为中心”，借助于先进的技术手段“不断拓展新的服务渠道”，为客户提供优质高效的服务,为什么要实施数据大集中,综上所述：企业规模越大，实施数据大集中的紧迫性越高，效益越显著，但实施的难度也越大。,数据大集中的前提条件,技术方面管理方面业务方面项目管理,数据大集中的前提条件,技术方面高可用性技术平台设计选用成熟可靠的软硬件产品关键资源的冗余配置设计快速高效的故障恢复能力应用体系的配套改造可靠的外部基础设施支持选用两家以上电信运营商提供网络接入确保外部双路供电，UPS及自备发电机的强有力基础设施保障必要的外部产品和技术支持服务产品维护和二线技术支持生产问题和重大故障的现场支持通过合同确保服务的水平和质量,数据大集中的前提条件,管理方面管理流程的标准化、规范化、制度化运行操作流程的标准化和自动化配套管理制度的建立和修订，有效防范各类风险做好科技队伍建设和人才培养业务方面实现业务需求的统一归口管理业务流程再造与技术平台集中建设的协调发展项目管理建立强有力的项目管理组织体系，确保各项工作的有序开展统筹规划、分布实施充分的测试和必要的验证重点做好风险控制和应急处理机制，最大程度上减少项目实施对客户的影响,工行数据大集中的建设历程,中国工商银行简介信息系统规模IT战略历程,中国最大及最具影响力的商业银行截至2004年末：资产总额近57000亿元人民币，占中国境内银行业金融机构资产总和的18%，位居中国第一。全年经营利润达746亿元，位居中国第一。英国银行家杂志按一级资本排序，名列全球1000家大银行的第25位，连续五次入围美国财富全球500强。,中国工商银行简介,中国信息化建设领先的银行截至2004年末：信息化建设水平均处于国内领先地位和国际先进水平。国内率先实现全国数据大集中的商业银行。国内率先实现千公里级最高安全等级异地灾难备份系统。国内信息化建设水平最高、电子化覆盖全行的商业银行。中国电子银行和网上银行规模最大和发展最快。2004年电子银行交易额达38.44万亿元，网上银行交易额34万亿元。连续三年被国际主流媒体评为中国最佳网上银行。,行业信息系统领导者,信息系统规模,数据中心7x24x365,21000个营业网点3400万笔联机交易/天,17000台ATM230 万笔存取款交易/天,80000台POS 63万笔交易/天,674万信用卡11000万借记卡280万笔交易/天消费金额160亿/月,1100万网上银行个人客户85万笔交易/天15.35万网银企业客户31万笔交易/天,电话银行客户1818万户71万笔交易/天,15800MIPS生产主机处理能力（two sysplex)100T生产存储容量（主机）近千台开放系统服务器千公里级异地主机灾备系统（北京/上海）系统运行状况主机系统可用率达99.95%。系统高峰时间交易率超过1000笔/秒/1 sysplex。主机系统交易平均响应时间约0.1秒。,信息系统规模,信息系统主要配置,整合后主机灾备架构,生产系统,Primary(24TB),SDM系统,Secondary(24TB),Tertiary(24TB),恢复系统,生产中心,灾难/测试中心,CNT,CNT,Flashcopy,测试,Test Dasd(30TB),Sys+Temp(6TB),Temp(6TB),主机系统灾备架构,XRC/FICON,办公用户网,办公用户网,Extranet接入网,Extranet接入网,GE,GSR,GSR,2.5G,2.5G,GE,数据中心（主）,数据中心（备）,15454,15454,6509,FireWall,6509,FireWall,业务内网,业务内网,ATM线路1（10M）,ATM线路2（10M）,业务内网,二级分行,拨号线,ATM,终端,服务器,ATM,直连ATM,营业网点,DDN专线,Extranet接入网,一级分行,二级分行,拨号线,ATM,终端,服务器,ATM,直连ATM,营业网点,DDN专线,办公/业务内网,一级分行,ATM线路2（20M）,ATM线路1（20M）,ATM2（4M）,ATM1（4M）,ATM2（6M）,ATM1（6M）,测试网,业务内网,测试网,Extranet接入网,办公/业务内网,工行全国网络系统连接图,经营分析型应用 业务管理,应用架构,客户关系,企业级数据仓库,财务管理,风险管理,资产管理,绩效管理,人力资源,资产管理,内部管理,办公管理,科技管理,说明：报文 文件,总行（数据中心）,系统整体架构,ATM,POS,自助终端,Internet,电话,邮件及应用服务,IE浏览器,NoteClient,档案,后督,报表,报送,分行数据平台,分行外连前置,合作伙伴方（前置）,总行外连前置,企业级数据仓库,文件传输平台,统一认证,总行业务大前置,办公管理,通用报文交换平台,分行综合大前置,文件传输平台,总行数据平台,电子银行,业务管理,核心业务处理,企业级客户信息,柜员终端,用创新、灵活和成熟的技术方案支持银行的成长以稳定、安全、高效和可靠的IT结构提供具有竞争力的业务运行环境建立一支具有核心研发能力和管理世界级数据中心的技术和运行团队实现由集中式信息系统向单一管理视图的高度集成的简约的信息系统的演变,IT 战略,银行需求,技 术,IT 战略,ICBC IT价值链,工行信息化建设发展历程,技术体系从分散到集中1996年，从县支行到地市行，再到省分行和总行，共拥有几千个计算中心。1999年大机延伸工程竣工后，全行数据中心数目减少为47个。2002年10月，数据集中工程提前两年竣工，北京、上海两大集中式数据中心全面投入使用，承担全行核心银行系统的运行任务。2004年9月，通过数据中心整合工程的实施，数据中心（北京）主机生产系统顺利迁移至上海，全行生产运行管理集中到数据中心（上海）。在2005年，完成全行生产、灾备、测试、研发体系建设和组织机构调整工作，最终实现全行科技一体化管理。,数据大集中建设历程-人员组织,科技一体化管理体系科技管理流程价值链,全行科技一体化管理体系,科技管理流程价值链,北京,软件开发中心,上海,数据中心整合以后各机构在软件价值链中的作用,制度标准规范培训顾问服务,建立了以生产运行管理、科技项目管理、科技行政管理三条主线的制度体系。通过管理制度、技术标准、操作规范实现了对管理、技术和操作三个层面风险的有效防范。,数据大集中建设历程 制度流程,管理办法与实施细则问题管理变更管理安全管理应急管理操作管理数据管理机房管理性能管理网络管理变更测试计算机资源管理科技档案管理考核管理,信息制度生产运行管理制度范例,重点工程建设情况介绍,大机延伸工程（1996-1999）数据集中工程（1999-2002）全国骨干网络改造工程（2003）数据中心灾备工程（2003）企业总控中心工程（2003-2004）数据中心整合工程（2004-2005）应用系统开发与推广核心业务系统综合业务管理系统（2002年5月）全功能银行系统（2003年11月）经营管理与决策支持系统信贷管理系统综合报表统计系统电子银行网上银行/一体化电话银行系统/工程规划设计与实施：思路清晰、统筹规划、分布实施、组织有力、执行到位。,数据大集中过程中的关键技术及难点,关键技术应用 主要难点,关键技术应用,高可用性系统结构设计系统：并行耦合体（Parallel Sysplex）技术联机应用：CICSPlex技术数据库：数据共享（DataSharing）技术网络：负载均衡技术操作管理和维护自动化并行批量处理系统（OPC）系统网络自动化监控系统（Netview/SA/Openview）7*24小时不停机系统维护生产备份系统建设主机异地灾难备份系统（RTO2小时，RPO2分钟）远程异地磁带库备份系统N+1/HA/Workload balance备份系统,关键技术应用,数据迁移技术PPRC/XRC/PPRCXD/SRDF技术的合理使用应用系统分层负载均衡技术CMC/TOR/AOR/FOR(DB),主要难点,系统建设容量和规模大，系统复杂度高，新技术应用多，没有可借鉴成功经验，外部技术支持和服务环境不成熟涉及系统多、范围广、环节多，项目管理和风险控制难度大如何实现平稳迁移、最大限度地减少停机时间，是工程组织和技术水平的一个挑战和难点与技术体系建设的高水平相比，科技人员管理和技术水平的提高相对滞后，风险意识需要进一步加强技术体系和组织结构的快速变化，对制度体系建设的时效性和适应性要求更高,主要难点,非规范数据的整理清洗转换迁移和加载(可控的停机时间)新旧系统的混合运营业务员工操作技能和管理技能调整培训端对端的集成测试和压力测试,工行数据大集中带来的好处,统一的技术平台和服务水平管理，实现了“以客户为中心”的服务理念，更好地为客户提供全天候全地域高质量的标准化服务。通过实现应用产品的四统一，大大缩短了应用开发和推广的周期，提高了应用产品市场化的速度和质量。通过数据的集中存储和处理，实现了客户信息的集中统一管理，通过技术手段实现了对全行业务操作的集中授权管理，实现了对经营管理的硬控制，为全行决策支持提供了及时、准确、高效的信息化服务。通过全行科技一体化体系的建立，实现了全行科技管理和技术的优势资源的高度集中，可以更好地为业务发展和创新服务。大大降低了整个信息系统的运维和管理成本为业务系统的整合级流程再造提供了稳定的技术平台,银行业务和管理处于重大变革和转型期需求的不稳定性（尚未形成稳定的业务体系）组织的不稳定性（正在变革的治理结构）技术架构的不稳定性（正在进行中的系统重构和整合）复杂庞大的信息系统规模15000MIPS主机和100T需有效管理的数据需要管理由数以百计的开放系统服务器组成的几十个分布式应用系统始终处于高负荷运行中的信息处理平台外部支持单位和业务合作伙伴的有效合作技术产品供应商缺乏有效及时的服务业务合作伙伴技术体系的不完善,数据大集中后面临的挑战及对策,IT部门尚未形成稳定的管理框架和运作流程技术管理团队缺乏成熟的技术和管理技能大量的高密度的技术变更计划内停机的有效控制和减少高度集成的应用系统和集约化的研发体系与区域客户差异化服务需求的矛盾,数据大集中后面临的挑战,数据大集中后面临的挑战,系统故障分类统计硬件和系统平台原因 55%这些原因在开发、测试系统均未发生，均由于硬件系统热备份失效，PTF缺失，容量参数评估不足引起应用软件原因 17.5%集成测试不足，问题经常重复发生（问题未有效解决或解决方案未形成规范文档）管理原因 27.5%系统监控不及时，技术人员技能不足，变更文档不完整，缺乏有效的应急操作手册和回退方案大多数问题由于前一天晚间系统变更引起,对策,系统思维提高整个系统的可用性必须从涉及IT价值链的各个环节整体分析规划入手，找出关键失效因素分步实施如何利用有限的资源先解决关键问题风险和成本的最佳平衡,对策,实施各中心功能定位优化计划对各数据中心和开发中心就设计、开发、测试、运行、支持、灾备等功能进行重新定位，理顺技术架构和管理流程在系统设计时严格遵循以下原则没有单点故障更强调系统的横向扩展性（更多的LPAR而非更大的LPAR)动态系统维护多对多的系统连接负载均衡技术和动态路由技术等等在系统恢复技术中考虑突发问题加强变更管理将各类技术变更固定安排在每周六晚进行,对策,平台标准化工作，减少系统复杂性，提高可维护性对开放平台（特别是B/S结构）进行软应件平台标准化建立各类技术标准和管理流程科技项目管理办法信息系统生产运行管理制度（基于ITIL）信息系统安全体系规范（基于BS7799)建立技术管理支撑平台（ECC）项目管理资源管理网络管理、存储管理、集中监控问题管理、变更管理、应急管理 知识库管理,对策,数据中心进行ISO9000认证开发中心进行CMM认证引进国外技术和管理专家团队进行顾问服务输送管理人员和技术骨干到国外大型数据中心实习培训合理分布应用体系,建立分行级中间业务平台和数据交换平台,谢谢!,欢迎提问,