中国建设银行存储测试报告v1 1.doc

《中国建设银行存储测试报告v1 1.doc》由会员分享，可在线阅读，更多相关《中国建设银行存储测试报告v1 1.doc（7页珍藏版）》请在三一办公上搜索。

1、中国建设银行存储测试报告 1. 概要 随着集中测试环境不断扩大其存储系统也随之不断发展完善。集中测试环境存储系统将为更多的项目测试提供数据存储服务其中包括功能测试、性能测试、预生产测试尤其是性能测试和预生产测试对现有存储系统的性能和可用性提出较高要求。面对集中测试环境对存储系统越来越高的要求现有存储系统逐渐暴露出以下几个方面的问题 现有存储系统缺乏有效的统一管理。集中测试环境存储系统各个存储设备来自于不同的厂家这些存储设备被各自的管理工具进行管理相互之间没有关联这就增加了管理上的复杂程度当为项目组提供存储服务时需要登陆不同设备的管理系统才能完成所有的工作操作复杂存储设备的事件告警没有统一的管理

2、平台当出现故障时不能及时发现对整个存储系统的历史操作没有记录缺乏有效的监管措施没有有效的途径及时展现出存储系统的资源使用情况。 缺乏有效手段提高资源使用率。由于集中测试环境的特殊性项目组对于存储空间的需求并不固定随着测试进度的推移所使用的容量常常发生变化。而现有的存储系统缺乏能够对分配后的存储空间进行在线调整的手段这样就降低存储资源的使用率。 现有存储系统缺少数据复制和迁移工具。项目测试数据通常存在于一个磁盘阵列中但出于项目测试的需求需要将测试数据复制或迁移到另外的磁盘阵列中目前缺少这方面的工具来实现数据复制和迁移的功能。 测试数据没有备份安全性存在隐患。测试数据对于项目组测试非常重要测试数据

3、的丢失将会严重影响项目组的正常测试。现有存储系统的所有数据没有进行备份数据安全性没有保护。 为了解决以上面临的挑战经建行领导批准组织对各厂家的相关产品进行测试结合集中测试环境了解各产品功能。 1.1测试目的 结合集中测试环境存储系统面临的问题需要解决的问题主要来自于三个方面存储资源管理、存储虚拟化、存储数据备份。本次测试针对集中测试环境实际情况旨在解决这三个方面的问题。 存储资源管理 对现有存储设备资源进行统一的监控管理。能够实现硬件故障告警、故障点定位、容量使用报告、存储资源分配等功能。 存储虚拟化 实现现有存储环境的虚拟化。能够在线调整项目组存储容量使用情况提高资源使用率。以及测试数据在不

4、同平台之间的数据复制和迁移。 数据备份 对现有存储数据进行备份保护确保项目组数据安全提高对项目组服务质量。 1.2参与厂家 本次测试有四个厂家参与测试分别是Symantec、EMC、HDS、IBM。其中Symantec参与了存储资源管理、存储虚拟化、数据备份的测试EMC参与了存储资源管理、数据备份的测试HDS参与了存储资源管理、存储虚拟化的测试IBM参与了存储资源管理的测试。 存储资源管理 存储虚拟化 数据备份 Symantec EMC HDS IBM 1.3测试时间 整个测试从10月29日开始至11月21日结束其中每个厂家用大约一周的时间进行相关产品的测试。每个厂家开始测试前1个小时用于环境

5、验收环境验收后开始相关产品的安装调试调试完成后开始按照测试方案进行逐个功能的测试测试结束后有1个工作日进行环境的清理和恢复以便进行后续的测试。 项目 工作内容 开始时间 结束时间 CCB 环境部署 10月26日 10月28日 测试环境部署 P570环境部署 10月26日 10月28日 oracle/db2数据库部署 10月26日 10月28日 8420环境部署 10月26日 10月28日 informix数据库部署 10月26日 10月28日 PC SERVER环境部署 10月26日 10月28日 存储环境部署 10月26日 10月28日 网络环境部署 10月26日 10月28日 EMC 存储

6、管理/存储备份 10月29日 11月1日 环境验收 环境验收与检查 29日8:00 29日9:00 安装配置 存储管理工具安装 29日9:00 29日12:00 存储备份工具安装 29日13:00 29日17:00 系统测试 存储管理工具测试 30日8:00 30日17:00 存储备份工具测试 31日8:00 31日17:00 环境清理恢复 清理EMC测试工具恢复环境 01日8:00 01日17:00 HDS 存储管理/存储虚拟化 11月5日 11月8日 环境验收 环境验收与检查 05日8:00 05日9:00 安装配置 存储管理工具安装 05日9:00 05日12:00 存储虚拟化工具安装

7、05日13:00 05日17:00 系统测试 存储管理工具测试 06日8:00 06日17:00 存储虚拟化工具测试 07日8:00 07日17:00 环境清理恢复 清理IBM测试工具恢复环境 08日8:00 08日17:00 Symantec 存储管理/存储备份/存储虚拟化 11月12日 11月16日 环境验收 环境验收与检查 12日8:00 12日9:00 安装配置 存储管理工具安装 12日9:00 12日12:00 存储备份工具安装 12日13:00 12日17:00 存储虚拟化工具安装 13日8:00 13日17:00 系统测试 存储管理工具测试 14日8:00 14日12:00 存储

8、备份工具测试 14日13:00 14日17:00 存储虚拟化工具测试 15日8:00 15日17:00 环境清理恢复 清理IBM测试工具恢复环境 16日8:00 16日19:00 IBM 存储管理 11月19日 11月21日 环境验收 环境验收与检查 19日8:00 19日9:00 安装配置 存储管理工具安装 19日9:00 19日17:00 系统测试 存储管理工具测试 20日8:00 20日17:00 环境清理恢复 清理IBM测试工具恢复环境 21日8:00 21日17:00 1.4测试环境 本次测试环境如下图所示 如上图所示本次测试环境包括主机部分三个IBM P570分区、一个HP8420

9、分区、三台PC Server存储部分包括USP、AMS1000、AMS500、CX700以及两台Brocade 48000 FC Switch。 厂家 型号 说明 HDS USP Firmware:50-09-34-00/00 AMS1000 Firmware:0772/D-H AMS500 Firmware:0720/B-M EMC CX700 Firmware:2.19.700.5.030 Brocade SilkWorm 48000 Fabos 5.1.0c IBM P570 AIX52 ML06 IBM P570 AIX52 ML09 IBM P570 AIX53 ML04 HP 84

10、20 HP_UX 11.11 PC IBM Windows 2000 PC IBM Windows 2003 PC HP Windows 2000 数据库 版本 平台 Oracle 9.2.0.7 AIX5.3 ML04 Informix 9.4 FC5 HP_UX 11.11 DB2 SDK 8.1.6 AIX5.2 ML06 1.5人员分配 本次测试工作由候处统一指挥刘洋、刘云鹏负责组织协调存储资源管理部分测试工作由黄琨负责存储虚拟化测试工作由张海兆负责数据备份测试工作由袁萌负责。 总指挥 候处 组织协调 刘洋、刘云鹏 存储资源管理测试 黄琨 存储虚拟化测试 张海兆 数据备份测试 袁萌 2

11、. 存储资源管理测试报告 2.1测试目的 实现对现有存储设备统一管理监控。减少设备管理的复杂程度监控存储设备和相关应用、主机、交换机的实时和历史信息这些信息包括容量使用情况、性能信息、事件报警信息和存储设备的操作信息。通过实现存储设备的统一管理监控做到对各种问题的预防更加准确排错更加快速从而提高整个存储系统的服务质量。 2.2参与厂商 存储资源管理SRM测试共有四个厂商参与测试分别是Symantec、EMC、HDS、IBM。其中Symantec的SRM产品为Command Central StorageEMC的SRM产品为EMC Control CenterHDS的SRM产品为HiComman

12、d Storage Services ManagerIBM的SRM产品为Totalstoage Productivity Center。 2.3测试内容 针对集中测试环境实际情况本次存储资源管理测试主要验证各厂商产品是否支持如下功能 存储系统拓扑结构管理 该功能测试存储资源管理工具能否正确展示存储设备的拓扑结构以及设备状态验证存储资源管理工具能否识别各个厂家的存储设备同时是否支持从应用角度查看存储资源使用情况。 硬件状态监控故障告警 该功能测试存储资源管理工具是否具备对硬件状态的监控功能能否准确发现硬件故障并及时报警。 容量报告与监控 验证存储资源管理工具是否能够正确识别存储容量、主机卷容量使

13、用情况能够对现有存储容量使用情况生成详细准确的报表并且支持设定阀值在容量使用达到阀值时自动产生告警。 存储资源分配 能够通过统一的管理平台对存储系统资源进行分配任务包括对磁盘阵列的LUN的创建和分配交换机ZONE的创建、修改和删除。 性能监控和分析 能够监控存储系统各设备单元的性能状态包括磁盘阵列、交换机端口、主机HBA等。并能记录存储系统各单元历史性能信息以供性能分析使用。 2.4产品体系结构 各厂商存储资源管理工具的体系结构基本相同都是通过各存储厂商提供的API接口模块来实现对不同厂商设备的管理该API接口模块实际上就是支持SMIS协议的存储管理工具。例如要管理HDS USP磁盘阵列所有厂

14、商的SRM存储资源管理都是通过HDS提供的HiCommand Device Manager来实现。磁盘阵列的信息首先被HiCommand Device Manager收集然后SRM通过HiCommand Device Manager实现对HDS USP磁盘阵列的管理监控。需要说明的是各个厂商的API接口模块销售策略不同有的是免费获得有的是需要付费购买的HDS的HiCommand Device Manager就需要额外购买。 各个存储设备的API接口模块通常为一个软件安装在一台Windows主机上。虽然所有厂商的SRM都是通过API接口对存储设备进行监控管理但是对于API接口的使用要求不尽相同。

15、Symantec、EMC和HDS的SRM产品要求安装API接口模块的主机LAN或者是FC与被管存储设备连接即可而IBM的SRM产品在管理EMC的存储设备时则要求安装API模块的主机必须与被管存储设备有FC连接。 2.5软件分布 各厂商的SRM产品模块不同软件分布也不相同。本节对各个厂商的SRM软件分布分别进行说明。总的来说所有厂商的SRM产品主要分为以下几个模块主机监控模块用于收集主机相关存储信息应用监控模块用于监控各个数据库存储信息存储设备监控模块用于监控磁盘阵列和交换机该模块通常是一个license。 存储管理软件 各厂家API接口 存储设备 2.6测试功能描述 本节对各个功能模块的测试进

16、行总结性描述介绍各功能模块实现过程、呈现结果。 2.6.1存储系统拓扑结构管理 该功能模块用于显示整个存储系统图谱结构包括显示设备连接图谱以及从应用角度的存储资源使用结构。 Symantec Command Central StorageCCS呈现存储拓扑结构如下图所示 全局拓扑 主机连接拓扑 从应用的角度查看存储使用 如上图所示CCS支持从多个角度呈现存储系统拓扑结构能够在拓扑图中正确显示测试环境中的存储设备并能够从应用角度查看存储使用情况图谱显示正确。但是在全局拓扑中的最上端显示出了连接交换机的所有主机的HBA卡没有过滤掉与测试环境无关的信息并且对于应用的存储信息是以表格的形势体现没有呈现

17、拓扑结构。 EMC Control CenterECC呈现的拓扑结构图如下 全局拓扑 从主机角度呈现拓扑 从应用角度呈现拓扑 如上图所示ECC可以从多个角度呈现存储系统拓扑结构能够在拓扑图中正确显示测试环境中的存储设备并能够从应用角度查看存储使用情况图谱显示正确。ECC拓扑显示清晰平且可以过滤掉无关的信息当选择某个设备单元或连接路径时相关联的设备单元和连接路径会以相同颜色显示出来。 HDS HiCommand Storage Services ManagerHSSM呈现拓扑如下 全局拓扑 从应用角度呈现的拓扑 如上图所示HSSM能够在拓扑图中正确显示测试环境中的存储设备并能够从应用角度查看存储

18、使用情况图谱显示正确。 IBM Totalstoage Productivity Center呈现拓扑结构如下 全局拓扑 如上图所示TPC没有识别CX700因为TPC识别EMC存储设备需要SMIS API接口模块与磁盘阵列之间必须有FC连接这次的测试环境中不具备配置HBA的PC Server所以无法实现。TPC能够识别其余的存储设备拓扑图中没有过滤掉无关的设备单元没有呈现从应用角度的拓扑结构。 2.6.2硬件状态监控故障告警 该功能模块用于监控硬件状态能够及时发现硬件故障并进行事件报警。 Symantec CCS关于事件告警如下图所示 如上图所示可以看到有交换机风扇速度的报警以及有关阵列SNM

19、P无法访问等等的报警。 EMC ECC关于事件告警如下图所示 如上图所示可以看到交换机的25端口发生故障Offline。 HDS HSSM对于事件告警如下图所示 如上图所示可以看到交换机142端口发生故障Offline。 IBM TPC对于硬件故障的事件告警功能需要针对不同的硬件在现有TPC的基础上进行2次开发该功能需要定制客户化在本次测试中无法实现。 2.6.3容量报告与监控 该功能模块对现有存储系统资源使用情况生成报表并可监控容量使用情况。 Symantec CCS关于资源使用情况报表如下 总的资源使用情况 各磁盘阵列容量使用情况 数据库容量使用情况 交换机端口使用情况 容量告警 如上图所

20、示CCS对于容量的使用报表非常详细对于超出阀值的容量报警准确。 EMC ECC关于容量的报表如下 磁盘阵列容量报告 主机容量使用情况 如上图所示ECC能够呈现磁盘阵列和主机容量使用情况并对主机上容量超阀值的文件系统进行告警。 HDS HSSM关于容量使用情况的报告如下 总体容量使用情况 数据库容量使用情况 主机文件系统容量使用情况 交换机端口使用情况 磁盘阵列容量使用情况 容量告警阀值定义 如上图所示HSSM能够详细的报告存储系统的容量使用情况并可以设置容量使用阀值当超出阀值时进行报警。 IBM TPC关于容量的报告与监控如下图所示 主机容量使用报告 磁盘阵列容量使用报告 数据库容量使用报告

21、为文件系统定义阀值当超阀值时自动扩展文件系统 如上图所示TPC能够展现主机、磁盘阵列、交换机、数据库的容量使用情况并支持当文件系统超出阀值时自动扩展文件系统。 2.6.4存储资源分配 该功能模块实现统一管理平台对存储系统进行整体的配置工作避免登陆不同管理系统的复杂操作。 Symantec CCS对于存储资源分配如下图所示 在USP上创建LDEV 创建ZONE 如上图所示CCS能够实现存储资源的统一分配。 EMC ECC对于存储资源分配如下图所示 创建lun 将创建好的lun映射给主机使用 创建ZONE 如上图所示通过ECC的统一界面可以在磁盘阵列上创建新的LUN并将创建好的LUN映射给主机使用

22、。可以实现在统一界面里的存储配置工作。 HDS HSSM对于存储资源分配如下图所示 如上图所示HSSM通过将磁盘阵列、主机HBA端口、磁盘阵列卷和交换机ZONE关联在一起来完成存储资源分配。 IBM TPC对于存储资源分配如下图所示 如上图所示TPC对AMS1000磁盘阵列进行配置时实际上是调用了HiCommand Device Manager的界面来完成并不是真正意义上的统一管理。 如上图所示TPC可以完成交换机ZONE的创建与修改。 2.7存储资源管理测试总评 通过对各个厂商存储资源管理软件的全面测试结合集中测试环境存储系统的需求对这次存储资源管理工具的测试总结如下 首先所有厂商的存储资源

23、管理工具对于存储系统的性能监控都不能满足实时监控的要求抓取性能指标的最小时间间隔均为分钟级。其次对于应用系统的监控只有EMC的ECC可以满足当前集中测试环境的所有数据库类型Symantec CCS和HDS HSSM只支持OracleIBM Tivoli不支持Informix。第三对于自定义报表EMC的ECC可以灵活展示各个关心的单元信息对于自定义报表的展示最为灵活。同时需要支持的是IBM Tivoli是一个非常庞大的工具其事件监控、资源分配和自定义报表功能都需要定制才能实现本次测试无法实现。 容量报告 事件监控 资源分配 性能分析 应用支持 自定义报表 EMC 非实时 灵活 Symantec

24、非实时 Oracle 支持 HDS 非实时 Oracle 支持 IBM 需要定制 使用第三方 非实时 Oracle DB2 需要定制 2.8详细测试步骤 详见各厂商产品测试报告 3. 数据备份测试报告 3.1测试目的 现有集中测试环境没有建立备份系统一旦发生数据丢失将无法恢复而数据对于项目测试非常重要数据丢失将严重影响项目测试。为了确保项目组数据安全提高对项目组服务质量需要在集中测试环境建立数据备份系统。 3.2参与厂商 数据备份测试共有两个厂商参与测试分别是Symantec、EMC。其中Symantec的备份产品为Veritas NetBackupEMC的备份产品为EMC NetWorker

25、。 3.3测试内容 由于现有集中测试环境没有磁带库设备因此与磁带库相关的功能无法进行测试本次备份测试中的所有数据将备份至与备份服务器相连接的外置存储中。针对集中测试环境实际情况本次存储数据备份测试主要验证各厂商产品是否支持如下功能 备份数据的重定向恢复 该功能测试备份工具能否将备份数据恢复至其他路径例如在主机A上的/usr下备份的文件能否恢复至/bak下。 备份数据的异机恢复 该功能测试备份工具是否支持将主机A的备份数据恢复至主机B中。 Oracle数据库的备份恢复 验证备份工具对Oracle的备份恢复支持。 DB2数据库的备份恢复 验证备份工具对DB2的备份恢复支持。 Informix数据库

26、的备份恢复 验证备份工具对DB2的备份恢复支持。 系统灾难恢复测试 验证当主机系统完全崩溃后备份工具对于裸机恢复的支持。 脱机备份测试 验证备份工具是否支持脱机备份功能。即通过源数据的快照进行数据备份释放数据源主机的IO压力避免备份给测试主机带来的IO压力。 3.4产品体系结构 各厂商备份工具的体系结构基本相同都是Server-Client的结构整体架构均为三层结构管理服务器、介质服务器和客户端。 其中管理服务器对整个备份系统进行全局管理和配置介质服务器对存储介质磁带库、光盘库、磁盘阵列进行资源管理和分配客户端为需要进行数据备份的数据源主机。同时根据数据类型的不同需要配置不同的模块例如实现Or

27、acle的备份需要专用的Oracle备份模块支持BD2、Informix也相同。 3.5软件分布 各厂商的备份工具软件的体系架构基本相同因此在本次测试中软件的分布也相同。具体软件分布如下图所示 管理服务器 介质服务器 客户端 3.6测试功能描述 本节对各个功能模块的测试进行总结性描述介绍各功能模块实现过程、呈现结果。 3.6.1备份数据重定向恢复 本功能用于验证备份工具能否将备份数据恢复至其他路径。该功能是备份工具中的一个基本功能NetWorker与NetBackup都满足测试要求并且实现方式类似。 NetWorker对于重定向恢复测试结果如下 备份客户端srmtest1:/tmp 指定备份的

28、/tmp/legato目录恢复到/tmp/legatobak/legato下 恢复成功 NetBackup对于重定向恢复结果如下 执行备份成功 成功恢复数据到另外的目录。 3.6.2备份数据异机恢复 在某些情况下需要将A机备份的数据恢复至B机该功能测试用于验证备份工具对异机恢复的支持。 NetWorker对于异机恢复的测试结果如下 备份客户端srmtest1:/tmp 在客户端srmtest2上启动恢复界面nwrecover s backup c srmtest1 恢复/tmp/legato目录成功 NetBackup对于异机恢复的测试结果如下 备份的数据与legato相同执行异机恢复结构截图

29、 成功的在异机执行了数据恢复。 3.6.3Oracle备份恢复 在集中测试环境中存在许多项目系统使用Oracle数据库存放数据比如证券系统、国际卡系统、ECIF系统等对Oracle的备份支持在集中测试环境中非常重要。该功能测试用于验证备份工具对于Oracle的支持。 NetWorker对于Oracle的备份恢复测试结果如下 建立Oracle备份组Oracle full对客户端srmtest1下的Oracle数据库进行在线全库备份 建立Oracle Archivelog备份组Oracle arch备份数据库归档日志 使用命令破坏数据文件 数据库报错 恢复数据文件、归档日志recover database 检查数据是否正确 恢复成功。 NetBackup对于Oracle的备份恢复测试结果如下 Oracle通过rman与备份软件相结合完成数据库备份 模版方式备份模版备份方式避免了编写复杂的rman脚本 首先执行全库备份 备份成功完成 图中深色区域显示备份已经成功完成 随后执行归档日志备份 备份成功完成 模拟破坏数据数据库无法打开进行数据库恢复测试。 进行oracle数据库恢复使用向导的图形界面进行oracle数据库恢复