存储性能瓶颈的分析与优化.docx

《存储性能瓶颈的分析与优化.docx》由会员分享，可在线阅读，更多相关《存储性能瓶颈的分析与优化.docx（11页珍藏版）》请在三一办公上搜索。

1、继续访问磁盘阵列；由于多个磁盘组成了RAID组，一个数据IO流实际上对应若多个磁盘的并发读写.整个过程如图2所示:IO确认数据帧图2.FC-SAN存慵的数据10流图1.2NAS存储NAS(NetworkAttachedStorage)存储一股也可认为是网络文件存慵,用户数据大多数以文件形式存在，通过以太网访问模式走NFS/CIFS协议，提供了广泛兼容性易用性的共享能力.相比于SAN存储，NAS存储不以磁盘形式提供存储服务，不需要分区和格式化，可以直接提供可以直接挂载的网络文件系统.架构层面看,NAS存储一般也是基于密盘阵列(也有基于集群文件系统或分布式存储的实现方式)实现的，在磁盘阵列之上会有

2、NAS机头来创建和管理文件系统；NAS机头是NAS存储的核心逻辑部件，是典型的C/S架构风格，是对外提供网络文件服务的Server端；其他client端在获得授权后，可通过挂载文件系统、映射网络磁盘或HTTP、FTP等方式就可以共空访问NAS文件系统上的文件，具架构如图3所示:从存储的IO数据流来看,不同于集中式存储较少的数据通道，分布式存储的数OSDPrirnaryOSDRePIiCaOSDReplica据入口可以更多更宽，但集群内部的数据流也更多.还是以Ceph的块存储为例，客户端应用访问的文件系统对应的是Ceph块设备,Block数据通过网络访问Ceph集群RBD服务，最终对应于三副本O

3、SD的磁盘读写，流程如图7所示.对于三副本的分布式存储系统，为保障数据的强一致性，一个写IO,一般需要主副本和另外两个从副本都写完后，才能最终确认写完成.CePh块OuRBD,应川备三服务Irados图7.Ceph存储IO数据流图2 .存储性能分析存储性能分析是性能优化的基础，虽然存在多种类型多种设计方案的存储系统，但性能分析方法却具有一定的通用性.存储性能分析方法可分为定性与定量两种方式，通常在接触了解、技术选型的初期可能并不具备定量分析的条件，则主要采用定性分析方法来评估存睹系统的性能；而一旦进入POC测试、系统运维等阶段，则应以定量分析为主，通过实际的性能指标数据来判断存储性能瓶颈.2.

4、1 定性分析表1.应用程序的数据IO类型IO大小应用数据类型的差异会带来不同大小的数据文件,也对应着不同的数据IO大小.假设存储系统IO处理能力是固定的，显然单位时间内大IO处理的数据更多，那么合并小IO会更有效率；而假设存储系统每次处理数据IO大小有上限，那么每次处理大IO前都需要拆分，显然IO处理效率会下降,比如SAN存储具有很高的IO处理能力，但单次处理的10偏小，那么更适宜性能要求高的、小IO应用系统，而处理大IO应用数据时，效率反而会下降.读写比例读写比例是应用数据的重要特征之一，IO读和写麋作存在着较大的差异.一般来说写操作对于存储性能的消耗更大，写IO处理能力、延时都较高，对缓存

5、的需求差异也较大.对于分布式存储来说，多副本机制可以优化读操作，但却不利于写操作，写确认路径蛟长，需要优化数据传输路径、配置更多的写缓存，更适宜于读比例较高的应用系统.顺序或随机读写联序或随机读写的差异主要表现在磁盘介质特性、预读取机制、缓存命中率等方面.对于机械硬盘来说，联序读写的10可以减少磁盘寻道时间，随机读写的IO则响应时间变长，可以通过提高缓存命中率的方式，将缓存中的数据转化为顺序读写到磁盘；而SSD硬盘则不存在机械寻道，随机读写能力会大大优于机械硬盘.2.1.2性能瓶颈分析存储性能分析的关键是对性能瓶颈进行分析，包括两方面的内容：一是触发性能瓶颈的因素；二是性能瓶颈的定位，找出存储

6、IO拥塞的位置.1）触发性能瓶颈的因素存储热点：存储热点是规划设计中的缺陷，典型场景包括数据IO负载过于集中在某个存储节点、端口、磁盘等，存储资源争用、锁竞争，软硬件参数的限制等.性能尖峰：常见于数据IO高并发、性能需求短时间集中释放的场景，性能尖峰更会充分暴露出存在的热点问题，从而触发存储性能瓶颈，典型场景包括虚拟桌面启动风星、秒杀类业务等.服务能力下降：需见于故障场景,存储服务能力下降暨加数据IO繁忙阶段，会导致触发存储性能瓶颈.典型的故障场景包括SAN存储单存储控制器故障、磁盘rebuild等；分布式存储更容易出现性能抖动，主要也是由于某个节点或跟盘掉线或点建数据副本或某个数据副本响应变

7、慢；客户端服务器的CPU、内存资源不足等.2）性能瓶颈的定位存储性能瓶颈的定位需要结合存储系统的架构来分析，按照存储系统的构成大致可分为以下几类性能瓶颈位JS:数据传输网络：存储外接和内接数据传输网络的带宽、端口速率、传输协议、传输路径的负载均衡度存储控制器：控制器的CPU处理能力缓存：主要分为客户端缓存和存储缓存，包括缓存大小、缓存命中率、读写缓存的分配比例磁盘：主要分为机械硬盘、闪存盘等磁盘介质，包括磁盘转速、单盘读写的IOPS、磁盘容量大小、磁盘数量、磁盘冗余（RAID、副本或纠删码）算法客户端：体现在客户端的CPU、内存等资源的使用情况、其他应用对存储资源的占用等外部环境的影晌2.2

8、定是分析定房分析是从数据指标角度来分析解决问题，既可以从存慵侧来度量存储系统的服务能力，也可以从用户应用侧来衡量存储IO体验.一般来说，存储侧的定量分析排除了存储网络和客户端的影响，性能数据能说明存储系统本身是否存在性能瓶颈，可用于存阵系统的性能监控；而用户应用恻的定量分析主要用于一些性能测试场景,通过基准测试工具，可以形成当前系统环境的性能基线.2.2.1 三大性能指标无论是存储侧还是用户应用侧的定量分析，都离不开三大存储性能数据指标：IOPS、吞吐量（Throughput）、延时（1.atency）.因此有必要弄清楚三个性能数据指标的含义及其关联关系。IOPS:代表存佛每秒所处理的IO操作

9、数量,对于存储系统来说，我们在性能分析时，既需要关注整体的IoPS,有时也需要分析单个控制器、单个1.UN或者单个磁盘的IOPS,甚至可能还需要区分读或者写的IOPS.吞吐量（Throughput）:代表存储每秒所处理的IO数据量大小，也就是存储数据传输所占用的带宽，与IoPS类似，也可以细分读或者写，可以单独组件分析。延时（1.atency）:代表存储系统处理10操作所需要的时间,通常情况下，是最重要的存储性能指标，与IOPS类似，也可以细分读或者写，可以单独组件分析.三大性能指标分析中，对于大10的应用使用吞吐B来评测性能更加科学；而小IO的应用，比如数据库，则需要通过IOPS和延时的指标

10、来评测性能，商IOPS和低延时同时满足的情况下，才能应对高并发且快速的数据库访问.2.2.2 性能测试分析存储性能测试可以更好地理解存储的性能指标，以某个存储性能测试为例，存储压测工具Vdbench（可针对裸盘与文件两种访问方式的压测），测试背景是存储上分超了5个Iun给主机，主机对这五块裸盘做随机读写测试，80%读20写，逐渐调整10的大小进行测试，三大性能数据指标如下表：IO大小IOPS吞吐量（MBs）延时（ms）4KB89288348.780.41116KB752091175.150.48832KB594151856.720.61764KB366122288.301.005128KB20

11、6862585.821.833表2.存储性能测试数据该存储性能测试的结论如下：D该存储的控制器CPU使用率峰值在20%-45%,说明该存储控制器还可以承受更高的IO负载，如图8所示.图8.存储控制器CPU使用率2）该测试也未达到主机的系统性能瓶颈，CPU使用了低于20%,这一点在存储性能分析中也很串要.V*IC，24systconf1Quradon：1cpuieOO4Ombkthr*ocpubilloooooooOoo100oor77OQ。S67C:79:7。67V三24526124;45614924OOl”P4OO972424GO4O4O24O19l24O3OM24O445?4OO44527

12、4GO3774OO)44124028002462777774OZ9724G7O7614AO774424&O7O424OO74/246QO2400745三*y79X129117O12OSi4671215SO6I21S2224R791X291%O419O1SOX461291524OS129127045AZ9A7S”71291)1171914Q769X4Oll12V14S14812914721129144917rcyOO1771486O218674144915ie27417751uy1dwO7446i1O14O7115O71，/。or1e2aO74775O7492,O，779O700JO72001O

13、71744O71l5OJIJeaulc*GIIQI1NXGQOOTO0901578206,1*K47O525OH7A942169，6889826S42O6-7cp“Xl*l7O6OX9169412254*7471，17S45117706317770117799777777777777777771Oil髭4slss43as;U9i7777y7G77*77777y77777737777rbav*mrr1pofrrcy1n，you，yIdw7O240070412O1443OOOOOO6M22l92O25OGOOX23A-0999OOOOOO7409591711S2312JO740003”AZS，O2

14、7OOOOOO71251-2”17OOZ图9.主机系统的CPU使用率3）存慵性能基线：表2中的测试数据就是特定的主机使用该存储的5个Iun在不同IO负载下的性能基线数据，在实际运行过程中，考虑到其他应用的10、读写IO大小不均等因素,一股IOPS峰值在基线值的50%.4）吞吐量和IOPS:吞吐贵=IOPS*IO大小，相同的业务场景，一般IO大小不会有明显变化，那么极限测试下的吞吐量与IoPS会呈正比关系，但吞吐量受限于网络带宽，IOPS又受限于存储Iun的处理能力；5）延时和IoPS:可以看出测试数据中延时和IOPS呈现出反比关系，即IOPS越低，延时反而越高，这是由于不同的10大小的测试场空

15、下，存储的负载压力不一样，即大IO的情况下,存惭负载变大，IOPS下降，延时加大.而存阵系统正常运行状态下的IOPS和延时关系如图10所示，大多数情况下存储的负载压力变大，IOPS增加，延时也开始变大，一旦延时过高就会影响业务系统的性能.所以大多数情况下，延时是最正要的存储性能指标，一股性能要求较高的业务系统，存储的延时需要低于5ms.图10.正常运行状态下的存储IOPS和延时3 .存储性能优化存储性能分析与优化是一项长期、豆杂而里要的工作，需要明晰存储性能优化目标，做好详细性能分析，并制定阶段性的优化方案和验证方案，以确保存储性能优化工作的持续开展.3.1 优化策Bg存储性能优化工作具有一定

16、的策略性，科学的优化策略才能指导制定更加合理的存储性能优化方案.1）通盘考虑：存磕性能问题是一个全局性问题，需要通盘考虑IO路径上的性能瓶颈，分析性能优化方案中可能出现的连锁反应，以提高性能优化决策的正确性.2）优化的性价比：制定合理的性能优化目标，在多种性能优化方案的选择上，要综合考虑方案成本、实施豆杂性、收益等.3）规划更至要：相比于存慵性能优化带来的优化改造成本，提前做好合理的规划更为重要。比如兼做业务性能需求的存储选型，系统上线前的存储性能测试的基线数据及性能容最管理，存储扩容要关注性能容量指标（评估扩容后,存储的I0PS/GB是否有较大变化），以及存储性能负载的均衡分布等.4）完善性

17、能监控：端到端的存储性能也是非常圭要的，对整个数据IO路径进行监控，基于存储性能基线来分析实际运行中的性能数据，从而及时发现存储性能瓶颈，也能验证存储优化的成果.3.2 优化方案存储性能优化方案可以大致分为以下几类：D硬件升级单块机械硬盘的IOPS在100左右，延时在5ms以上，而单块SSD的IOPS在1万以上，延时小于ImS,传统机械硬盘替换为全闪存存储，性能可以得到极大的提升；NVMe、RDMA等技术的应用，优化了底层通信框架，可以极大提高数据传埔效率，降低存储延时；存储控制节点的横向或纵向扩展，可以有效增加存储负载能力；客户端的硬件升级，也能消除客户端的CPU、内存、网络等带来的性能瓶颈

18、.硬件升级是一种非常有效的存储性能优化手段，但是很多情况下需要比较商的硬件成本，投入产出比还需要仔细评估.2）上层应用优化上层应用优化手段也比较丰富，主要目标是减少上层应用带给存储的I。负载，比如数据传输前启用更巨数据删除或数据压缩；优化10并发，将大量的小10聚合成大IO;数据库的索引优化、SQ1.语句优化.3）调整性能负战调整性能负载主要针对的存储性能热点问题，方案包括优化磁盘分布方式，调整磁盘负载；调整存储网络端口负载；调整存储控制器负载；新增存储，将部分负载调整到新的存储上.4）数据缰存优化数据缓存是存储系疣中非常重要的性能模块，一股缓存都采用内存或闪存等速度更快的存储介质，远远快于一般的磁盘.很多存储性能问题都因缓存而起，也经缓存优化而终结。数据缓存分为客户端本地缓存和存储缓存,比如客户端本地缓存对于一些分布式文件系统非常至要，增加缓存大小，可以有效提高缓存命中率；存储的缓存也极为重要，多层级的数据缓存技术可将热点数据存放在更快的存储介质上，降低存储延时.