全面数据备份、恢复和归档策略(EMC).ppt

全面数据备份、恢复和归档策略,演讲人姓名:何志彬演讲人职务:EMC高级系统工程师,EMC-全球前10大的软件公司,EMC 软件主要组成部分有:EMC 开放存储软件(OSS)LegatoDocumentumSMARTSVMwareRSAAvamarIndigo Stone以及12家以上的中小型软件公司的收购具有规模:2006年营业额达112亿美金全球员工超过31000人每年研发投入超过10亿美金2006年成立中国研发中心2006年后连续5年投入5亿美金到中国市场2007年，EMC将在中国增加4个办事处，5年内在全国的办公点达到20个,Worlds Top 10 Software Companies,$613,Siebel,10,$616,Compuware,9,$743,BMC Software,8,$1,413,Symantec-Veritas,7,$1,711,EMC,6,$1,830,CA,5,$4,788,SAP,4,$7,149,Oracle,3,$7,372,IBM,2,$19,781,Microsoft,1,1st Half 05 Revenue,Company,Rank,Ranked by 1st Half 05 revenue,客户面临的挑战,*数据来源：存储杂志,降低总体拥有成本事半功倍,管理数据增长,典型做法添加更多的主存储容量从主服务器上删除文件和信息 对邮箱和文件共享强制实施配额依靠备份磁带进行长期保留可能的结果 开销大 管理非常耗时不一致的保留增加了业务风险,6,许多企业采用被动应付的做法,备份、恢复及归档（BuRA）的新架构-分层存储,分离有用的信息归档提高生产系统的性能通过分级存储改善 TCO 对活动的生产信息备份到磁盘备份窗口减小或消除较高的可靠性，执行全备份的可能性增加从归档重新取回或从备份恢复恢复的速度更快以前离线的信息现在在归档方式下可访问,归档流程,生产环境,备份和归档的差别,备份？,归档？,Copy,Production,Backup Environment,User,Backup Environment,Production,为了恢复数据,User,Archive Environment,用于数据的读取.,EMC NetWorkerBackup and Recovery,Centera Content Addressed Storage,EMC Disk LibraryVirtual Tape,Backup Advisor Diagnostics and Recommendations,Assessment ServicesFor Backup and Recovery,Archiving,Backup/Recovery,EmailXtender Intelligent Email Archiving,DiskXtender Intelligent File Archiving,AvamarRemote Office/Branch Office,Assessment,EMC NetWorkerBackup and Recovery,Centera Content Addressed Storage,EMC Disk LibraryVirtual Tape,Backup Advisor Diagnostics and Recommendations,Assessment ServicesFor Backup and Recovery,Archiving,Backup/Recovery,EmailXtender Intelligent Email Archiving,DiskXtender Intelligent File Archiving,AvamarRemote Office/Branch Office,Assessment,NetWorker,传统的磁带备份和恢复,高级备份快照和复制管理,磁盘备份NetWorker DiskBackup 选项和虚拟磁带库(VTL),分层保护下的恢复管理,用于备份和恢复的 EMC NetWorker 软件,将保护级别与恢复时间目标(RTO)和恢复点目标(RPO)对映 简化管理进行监控和分析，以快速解决问题和优化系统,解决方案的特性,NetWorker 备份和恢复,全面保护关键应用程序、平台和存储可扩展的体系结构256 位 AES 加密和安全认证多语言支持集中式管理图形用户界面可定制报告功能 高级分析功能向导引导的配置和软件分发最佳的性能和可扩展性存储节点数据多路传输和高级索引磁带和磁盘备份、转储、克隆高效的介质管理快照管理,磁带/磁盘,Linux、UNIX、Windows、Mac 客户机,关键应用程序,局域网,SAN,NAS(NDMP),远程存储节点/客户机,备份服务器,存储节点,应用程序,操作系统,异构支持的优点,Novell,IBM,Sun,HP,IBM Informix,DB2,Lotus Software,NetWorker Management Console,直观的操作和导航可通过 Web 进行管理拖放管理单点管理和监控管理多个 NetWorker 服务器集中式设备安装和管理轻松启动 NetWorker 恢复应用程序和向导基于角色的访问安全性，使用唯一的用户登录名/密码报告备份统计数据、活动审核和其他有用信息（如非活动文件的详细信息）,7,新特性-可定制的中文视图/易于使用,内置的报告功能,Backups,Day 1-Full,Day 2-Level 1,Day 2-Full,单一备份集恢复！,将Level1的备份与全备份合并为一个新的全备份,Full,Day 3-Full,Day 3-Level 1,独特的备份融合,并行流从多个客户端的多个数据流备份到一台备份服务器或一个备份节点,交叉备份多个数据流同时写到多盘磁带,提供最大的数据吞吐量,Multiple Savesets on Self Describing Tapes intermixed atthe Block Level,NetWorker Serveror Storage Node,Buffer,Individual NetWorkerClient Savesets,64路,32台,业界领先的备份性能,10TB/Hr,PowerSnap 和 VSS 附加模块利用快照技术进行数据的保护和恢复支持 EMC CLARiiON、Symmetrix、Celerra 和第三方解决方案使用时间点快照/镜像进行即时备份和恢复脱离主机进行磁盘/磁带的实时备份基于策略的管理,集成的快照管理，以满足 RTO/RPO,NetWorkerUNIX/Linux,NetWorker Windows,磁带管理的优点,开放磁带格式（OTF）数据流多路传输自包含索引跨平台格式UNIX Windows Linux磁带损坏的影响最小 跳过损坏的介质记录本机库共享动态驱动器共享跨平台磁带驱动器共享按需使用设备降低硬件总体拥有成本,磁带并不是总能够应对这些难题,性能有限的吞吐量不能随机存取可靠性RAID 对磁带无效用过几次之后磁带就会“过期”管理复杂性恢复起来很复杂 成本很高管理成千上万盒磁带的工作量非常大,15,以磁盘为中心的备份和恢复解决方案的优点,性能恢复性能可增加五倍备份性能可增加三倍可用性备份和恢复操作可靠管理效率节省数小时的员工时间提高生产率数据保留可以远程复制磁盘数据，不用依靠运送轻松检索数据,16,性能更佳且可预知的备份和恢复,NetWorker DiskBackup 选项,更快、更可靠的备份和恢复消除装载、启动和停止、倒带以及快进利用并行操作增强备份/恢复备份、恢复克隆和转储 同步进行多流并行恢复基于策略的转储和克隆自动将磁盘数据迁移至磁带，以辅助保护提速 50%备份作业一完成就克隆减少对磁带驱动器和磁带盒的磨损,磁盘(文件系统)也面临挑战,共享文件系统不能被多台机器共享安全性文件系统很容易被误操作性能文件系统很难解决磁盘碎片问题功能文件系统无法自动回收这部分磁盘空间 磁盘作为备份设备，备份系统无法对其进行扫描 无法进行介质复制,15,虚拟磁带库集成,磁盘备份的简单解决方案即插即用 犹如磁带库不需要更改操作过程 可靠性和可扩展性具有 NetWorker 存储节点的 EMC 磁盘库系列使用嵌入备份应用程序的 EMC 特定的 VTL 解决方案加快恢复时间减少网络流量 整合的介质管理，对虚拟和物理磁带池实施单点控制磁盘库之间轻松实现远程备份、恢复和克隆,EMC HomeBase 裸机恢复,新的 EMC NetWorker 功能,通过与 EMC Avamar 的集成消除重复数据对全局重复数据消除提供统一管理通过与 EMC RecoverPoint 的集成实现连续数据保护（CDP）提供时间点 CDP 快照以改进数据保护和恢复点,添加了对重复数据消除和连续数据保护的支持,允许用户在现有的 NetWorker 环境中方便地部署 Avamar 和 RecoverPoint CDP。,4,EMC NetWorkerBackup and Recovery,Centera Content Addressed Storage,EMC Disk LibraryVirtual Tape,Backup Advisor Diagnostics and Recommendations,Assessment ServicesFor Backup and Recovery,Archiving,Backup/Recovery,EmailXtender Intelligent Email Archiving,DiskXtender Intelligent File Archiving,AvamarRemote Office/Branch Office,Assessment,将数据拆分为原子结构（子文件、可变长度的数据段）,一次仅发送和存储一个原子结构,安全的数据保险存储,日常数据缩减率高达 300:1,工作机制,在源位置 在通过网络传输数据之前消除重复在目标位置 确保随着时间的推移跨站点、服务器完成协调的消除重复操作粒度 小型、可变长度的数据段可保证最有效地消除重复,全局重复数据消除,只有具有 唯一性的数据 段得到备份,数据已备份，所以只存储一个具有唯一性 的 ID 指针（字节）,识别并备份新的数据段,全局重复数据消除实例,Avamar 的工作机制：应用示例,先进的架构,独立节点冗余架构(RAIN)提供服务器节点的冗余和容错在线扩展专利方案 Avamar 服务器节点(2U)内置存储和CPU采用网格计算架构，方便在线扩展和性能升级支持SAN或者内置存储每日完整性检查对磁盘进行RAID保护,Avamar Server,部署示例,受支持的客户端平台和应用程序,实际的用户测试结果,Source:EMC,从开始制止数据雪崩:在数据源进行工作,让您的备份实现更多价值,当前的备份充其量只是一种“数据保险”无法利用通常存储在磁带上的“二进制大对象”数据Avamar 让您的备份数据可以提供商业价值聚合起来的备份可以建立索引、编目，并可供搜索文件系统接口 与数据管理工具集成以便执行分类和报告基于策略的保留期管理自动归档到 EMC Centera,17,NetWorker 目标,通过 NetWorker 实现重复数据消除,具有集成的 Avamar 功能的单个 NetWorker 客户端 在单个解决方案中实现文件系统重复数据消除和备份 在现有 NetWorker 环境中方便地部署Avamar Data Store 预配置了 Avamar 软件支持推送客户端，这意味着不需要手动主机部署通过 NetWorker Management Console 集中管理：备份和恢复任务客户端配置时间安排和策略监控和报告 索引和浏览,Avamar 单节点、多节点 Data Store 或 Virtual Edition for VMware,存储节点,磁盘、VTL 和磁带,NetWorker 客户端,NetWorker 与 Avamar 集成,新增,EMC NetWorkerBackup and Recovery,Centera Content Addressed Storage,EMC Disk LibraryVirtual Tape,Backup Advisor Diagnostics and Recommendations,Assessment ServicesFor Backup and Recovery,Archiving,Backup/Recovery,EmailXtender Intelligent Email Archiving,DiskXtender Intelligent File Archiving,AvamarRemote Office/Branch Office,Assessment,EMC 磁盘库系列,DL210 单个 DL 引擎4 个 2 Gb/s 光纤通道端口2 个千兆以太网端口最多 72 个驱动器高达 24 TB（可用容量）高达 72 TB（压缩后容量）高达 1.368 TB/小时,DL4106/DL4206/DL44061 至 2 个 DL 引擎816 个 4 Gb/s 光纤通道端口612 个千兆以太网端口最多 930 个驱动器高达 674 TB（可用容量）高达 1.8 PB（压缩后容量）高达 7.92 TB/小时RAID 6,DL6100/DL6300 2 至 4 个 DL 引擎1632 个 4 Gb/s 光纤通道端口1224 个千兆以太网端口最多 2,400 个驱动器高达 615 TB（可用容量）高达 1.845 PB（经压缩）高达 10.8 TB/小时,改进备份和恢复的最简单方法,可扩展性,服务级别,新增,DL4100/DL4200/DL44001 至 2 个 DL 引擎816 个 4 Gb/s 光纤通道端口612 个千兆以太网端口最多 930 个驱动器高达 340 TB（可用容量）高达 660 TB（经压缩）高达 7.92 TB/小时RAID 5,硬件压缩功能,不以性能为代价降低每 GB 的成本更高的系统密度和容量嵌入式技术 无需管理故障时能够切换到软件压缩自动资源调配根据应用程序类型优化性能的能力,20,14,管理控制台,安装向导简单创建虚拟磁带组管理最多可以组合 8 个系统 自动警报和报告功能“Attention required”（注意事项）选项卡磁带模拟最多 1,024 个磁带库最多 4,096 个磁带驱动器最多 256,000 盘盒式磁带命令行界面通过编写脚本自动执行功能EMC Backup Advisor 支持 增强的报告/监视功能,20,整合介质管理,备份应用程序功能也在集成的介质服务器上运行加快了恢复速度减少了网络通信量 提高了备份服务器性能具有灵活的克隆功能提供管理虚拟磁带池和物理磁带池的单点控制,*需要 NetWorker 7.3 版和 Symantec Veritas NetBackup 5.1 版,主服务器是主控制服务器，负责向“存储节点”分发命令；它包含主目录数据库 介质服务器是从属于“主服务器”的模块，负责执行“主服务器”发出的命令,EMC NetWorker 和 Symantec Veritas NetBackup*,其他 VTL 产品需要多个不同的控制点,16,主动引擎故障切换,双引擎共享心跳信号在两个引擎之间自动进行故障切换与应用程序和操作系统的故障切换策略同步EMC Connect 在出现故障时呼叫总部自动回切功能,双引擎,备份服务器,EMC 磁盘库DL4200,SAN,17,按需分配容量,能够在数据写入而非创建时将磁盘存储容量分配给虚拟磁带 磁盘库存储不被空的虚拟磁带所占用虚拟磁带被实际数据增量所占用(5 GB)虚拟磁带数据量与使用的存储量相符,提高 EMC 磁盘库的存储利用率不为空磁带分配空间从而降低成本,写入时使用存储量,18,EMC磁盘库,虚拟磁带数据粉碎功能,基于标准的、安全擦除虚拟磁带数据的方法符合美国国防部(DoD)的 5220.22-M 标准 经过向磁带三次写入各不相同的位组模式可对虚拟磁带进行数据消除 要消除的数据分为“秘密”、“机密”和“高度机密”,19,远程复制,通过 IP 网络将数据复制到远程 EMC 磁盘库 提供快速的本地和远程恢复 本地操作恢复远程灾难恢复可满足保险存储要求消除运送磁带的成本和风险支持加密和压缩,高级恢复功能,加快本地和远程恢复,DL4100,远程 磁盘库,支持增量复制,应用程序/备份主机,IP,DL4100,SAN,20,远程备份/恢复,可以通过 IP 网络备份到远程 EMC 磁盘库提供远程恢复功能可满足保险存储要求消除运送磁带的成本和风险需要高性能传输设备光纤通道/IP 设备,高级恢复功能,Edge3000,Edge3000,备份服务器,应用程序/备份主机,远程 磁盘库,IP,SAN,SAN,业界最广泛的环境支持,磁带库ADIC Scalar24 和 100、i500、i2000 系列Sony PetaSiteATL P 系列、ATL 7100STK L 系列、SL500、STK 97xx、ACSLSIBM 3590、3584、3583Overland NEO2000、NEO4100Quantum M1500、M1800磁带驱动器DLT、SuperDLT、AIT、SAITLTO、LTO2、LTO3、IBM 3590、IBM 3592Sun StorageTek 9840、9940备份应用程序EMC NetWorker、EMC Data ManagerSymantec Veritas NetBackup 和 BackupExecIBM Tivoli Storage ManagerBRMS、OS/400 NativeCommVault Galaxy CA ARCserve、BrightStor Enterprise Backup其他供应商：SyncSort、BakBone、Atempo、HP,21,提供超过三百万种受支持的配置,EMC NetWorkerBackup and Recovery,Centera Content Addressed Storage,EMC Disk LibraryVirtual Tape,Backup Advisor Diagnostics and Recommendations,Assessment ServicesFor Backup and Recovery,Archiving,Backup/Recovery,EmailXtender Intelligent Email Archiving,DiskXtender Intelligent File Archiving,AvamarRemote Office/Branch Office,Assessment,DiskXtender工作原理,1.管理员根据以下属性制定数据迁移策略：文件名称、文件大小、文件属性、最近访问时间、最近修改时间和磁盘水线（Watermark）等,2.DX扫描一级存储设备，找出符合迁移条件的文件,DiskXtender Software,CAS,ATA,Tape,Optical,3.按迁移策略将数据迁移到二级存储设备,NAS/SAN/DAS,4.被迁移文件对用户是透明的，可以按照应用需求回迁至一级存储,NetworkFTP/NFS,Tape/Optical Drives and Robot,Disk,Data Flow,DiskXtender Storage ManagerServer,DiskXtender File System Manager Server,Swap:memory disk HSM:disk tape/optical,标准DiskXtender UNIX/Linux 配置,提取,始终可供使用,DiskXtender 提高了备份和恢复性能,将非活动、最终形式的数据提取到动态存档 提高备份/恢复性能增强生产应用程序的性能回收主存储上的容量减小备份环境大小（如 磁带、保险存储库）,之前 完整备份，10 TB,活动归档,非活动数据,之后 备份 4 TB，仅活动数据,主存储,10 TB,4 TB,6 TB,生产,辅助存储,活动数据,回收存储,DiskXtender 是与 EMC Centera 配合使用的首要文件归档应用程序DiskXtender 与 EMC Centera 配合：内容真实性遵从管理法规要求仅存储内容的一个拷贝 单实例存储 可扩展到数 PB 的巨大存储容量并容纳数十亿个内容项 自我管理实现了最低的总体拥有成本 复制型配置不需要备份,EMC Centera,DiskXtender 与 EMC Centera 配合,简单,可扩展,安全,EMC Centera 产品介绍与功能：EMC Centera 的工作机制：应用示例,数据库存储内容寻址以备将来参考,Centera 执行内容寻址计算并将地址发送回应用程序,应用程序服务器通过 IP 网络将对象发送到 Centera,创建一个对象并将其发送到应用程序服务器,局域网,CA,CA,EMC NetWorkerBackup and Recovery,Centera Content Addressed Storage,EMC Disk LibraryVirtual Tape,Backup Advisor Diagnostics and Recommendations,Assessment ServicesFor Backup and Recovery,Archiving,Backup/Recovery,EmailXtender Intelligent Email Archiving,DiskXtender Intelligent File Archiving,AvamarRemote Office/Branch Office,新的 EMC Backup Advisor 功能,帮助备份管理员了解：已发生的问题及其原因当前正在发生的问题及其原因将要发生的问题及其原因,10,10,让您全面了解备份环境,不使用 Backup Advisor 管理备份操作,Oracle 日志,网络工具,磁带诊断,Exchange 工具,备份报告,Backup Advisor 基本功能,报表,监测,故障分析,容量预测,性能管理,支持复杂环境,整合多种管理能力为跨平台，多点任务提供简化便利的分析采集多种系统的数据EMC NetWorkerIBM Tivoli Storage Manager(TSM)VERITAS NetBackupVERITAS BackupExecHP DataProtector与NetWorker增强的紧密连接,Backup Advisor V3.0,添加了备份应用程序和主机平台支持 针对 NetWorker V7.4 的增强的支持针对 NetWorker 转储和克隆活动的警报和报告 报告所有恢复以帮助衡量服务级别 帮助进行负载平衡以提高备份性能的报告新的用于进行趋势分析和预测的 EMC 磁盘库利用率衡量指标报告 本地化 日语、中文、韩语和法语其他功能更快的报告功能改进的安全性、身份验证和审核,备份应用程序CommVault GalaxyComputer Associates ARCserveSymantec Veritas NetBackup PureDiskNetwork Appliance NearStore VTLEMC Avamar主机平台Windows Vista 64 位 Linux,备份报告、警报、监控和分析工具,新增,EMC NetWorkerBackup and Recovery,Centera Content Addressed Storage,EMC Disk LibraryVirtual Tape,Backup Advisor Diagnostics and Recommendations,Assessment ServicesFor Backup and Recovery,Archiving,Backup/Recovery,EmailXtender Intelligent Email Archiving,DiskXtender Intelligent File Archiving,AvamarRemote Office/Branch Office,Assessment,备份系统咨询及管理咨询服务的过程,利用EBA工具分析 分析访谈数据明确的备份恢复目标详细定义并文档化的备份保护数据对象及备份策略合适的备份技术架构并选择适合各业务备份恢复目标的备份方式,评估服务启动 确定项目范围(SOW)客户访谈或讨论会 利用EBA工具收集数据,阶段 II：分析,阶段 III：建立及监控,建立相应的备份、恢复流程及详细操作步骤定期的恢复验证备份恢复环境的全面监控与报告,阶段 I：调查,EMC的BURA评估服务协助客户了解其备份环境,备份系统的频度和压力,备份任务“记分卡”,EMC 业界一流的支持服务,*Gartner Group 和 IDC,25,获得大奖的技术支持,