各种存储性能瓶颈场景下的分析和优化.docx

操作Server端的文件系统数据，但也不能获取Server端的状态，当连接中断时，可以不停地连接重试.如图4所示，基于TCP的应用展协议的NAS存储数据IO流会更加灵活，适配性较强，但数据IO路径更长，数据一致性较差,还会存在数据泄露等安全问题，数据传埔效率也不高.SS=SSs图4.nfs协议下的NAS存楮数据10流图1.3分布式存储分布式存储系统是采用可丁展的集群架构，通过数据副本算法将数据分散存储在多台独立的设备上，分布式集群之间一般通过通用TCP/IP网络连接.相比于其传统的集中式存储阵列，分布式存储系统可以通过多台存储服务器来分担存催负荷，可以满足大规模存储应用的需要。常见的分布式存储系统的形式包括分布式文件系统（如HDFS）和对茨存储（如Ceph）.从架构层面来看，与集中式存储系统相比，分布式存储系统的部署架构相对简单，一般是通用服务器网络互联的方式，但其逻辑架构更加豆杂.分布式存储系统的核心设计思想是去中心化，去中心化的难点主要在于是主控节点的去中心化，有主控节点的架构比如HDFS的架构设计思路是map-reduce,化大为小，分而治之，再合并处理，其架构中需要主控节点来协调，只是主控节点的负载都分发到了数据节点，数据节点上则存放着数据副本，每个数据副本又都分布在三个不同的数据节点上，如图5所示；而无中心化的最大优点是解决了主节点本身的瓶备»储点图6.无主控节点的Ceph存储架构从存储的10数据源来看,不同于集中式存楮较少的数据通道，分布式存慵的数据人口可以更多更宽，但集群内部的数据流也更多,还是以Ceph的块存储为例,客户端应用访问的文件系统对应的是Ceph块设备，Block数据通过网络访问Ceph集群RBD服务，最终对应于三副本OSD的磁盘读写,流程如图7所示.对于三副本的分布式存储系统，为保障数据的强一致性，一个写IO,一般需要主副本和另外两个从副本都写完后，才能最终确认写完成。应用MockCePh块设备网络传输OSDPrimaiRBD服务OSDRePIiCaOSDReplica图7.Ceph存储IO数据流图2.存储性能分析顺序或随机读写峡序或随机读写的差异主要表现在磁盘介质特性、预读取机制、缓存命中率等方面.对于机械硬盘来说，顺序读写的IO可以减少磁盘寻道时间，随机读写的IO则响应时间变长，可以通过提高缓存命中率的方式，将缓存中的数据转化为顺序读写到磁盘；而SSD硬盘则不存在机械寻道，随机读写能力会大大优于机械硬盘.2.1.2性能瓶颈分析存储性能分析的关键是对性能瓶颈进行分析，包括两方面的内容：一是触发性能瓶颈的因素；二是性能瓶颈的定位，找出存储IO拥塞的位置.1）触发性能瓶颈的因素存储热点：存慵热点是规划设计中的缺陷，典型场里包括数据IO负载过于集中在某个存储节点、端口、磁盘等，存佛资源争用、锁竞争，软硬件参数的限制等.性能尖峰：常见于数据IO高并发、性能需求短时间集中释放的场景，性能尖峰更会充分展露出存在的热点问题，从而触发存储性能瓶颈，典型场景包括虚拟案面启动风褰、秒杀类业务等.服务能力下降：常见于故獐场景,存储服务能力下降科加数据1。繁忙阶段，会导致触发存储性能瓶颈.典型的故障场景包括SAN存储单存阵控制器故障、磁盘rebuild等；分布式存储更容易出现性能抖动，主要也是由于某个节点或磁盘掉线或里建数据副本或某个数据副本响应变慢；客户姚服务器的CPU.内存资源不足等.2）性能瓶颈的定位存储性能瓶颈的定位需要结合存储系统的架构来分析，按照存储系统的构成大致可分为以下几类性能瓶颈位置：数据传输网络：存储外接和内接数据传输网络的带宽、端口速率、传输协议、传输路径的负载均衡度存储控制器：控制器的CPU处理能力缓存：主要分为客户端缓存和存储缓存，包括缓存大小、缓存命中率、读写缓存的分配比例磁盘：主要分为机械硬盘、闪存盘等磁盘介质，包括磁盘转速、单盘读写的IoPS、磁盘容量大小、磁盘数量、磁盘冗余（RAID、副本或纠删码）算法客户端：体现在客户端的CPU、内存等资源的使用情况、其他应用对存储资源的占用等外部环境的影响2.2定量分析定量分析是从数据指标角度来分析解决问题，既可以从存慵侧来度量存储系统的服务能力，也可以从用户应用恻来衡量存储IO体蛤,一般来说，存储侧的定员分析排除了存储网络和客户端的影响，性能数据能说明存储系统本身是否存在性能瓶颈，可用于存储系统的性能监控；而用户应用侧的定量分析主要用于一些性能测试场景,通过基准测试工具，可以形成当前系统环境的性能基线.2.2.1 三大性能指标无论是存储侧还是用户应用侧的定量分析，都离不开三大存储性能数据指标：IOPS、吞吐果（Throughput）、延时（1.atency）.因此有必要弄清楚三个性能数据指标的含义及其关联关系。IOPS:代表存储每秒所处理的IO操作数量.对于存储系统来说，我们在性能分析时，既需要关注整体的IoPS,有时也需要分析单个控制器、单个IUN或者单个磁盘的IOPS,甚至可能还需要区分读或者写的IOPS.吞吐量（Throughput）:代表存储每秒所处理的IO数据量大小，也就是存储数据传输所占用的带宽，与IOPS类似，也可以细分读或者写，可以单独组件分析.延时（1.atency）:代表存储系统处理IO操作所需要的时间，通常情况下，是最重要的存储性能指标，与IOPS类似，也可以细分读或者写，可以单独组件分析.三大性能指标分析中，对于大IO的应用使用吞吐f来评测性能更加科学；而小IO的应用，比如数据库，则需要通过IoPS和延时的指标来评测性能，高IOPS和低延时同时满足的情况下，才能应对高并发且快速的数据库访问。2.2.2 性能测试分析存储性能测试可以更好地理解存储的性能指标，以某个存储性能测试为例，存储压测工具Vdbench（可针对裸盘与文件两种访问方式的压测）,测试背景是存储上分配了5个Iun给主机，主机对这五块裸盘做随机读写测试，80%读20写，逐渐调整IO的大小进行测试，三大性能数据指标如下表：IO大小IOPS吞吐量（MBs）延时（ms）4KB89288348.780.41116KB752091175.150.48832KB594151856.720.61764KB366122288.301.005128KB206862585.821.833表2,存储性能测试数据该存储性能测试的结论如下：D该存慵的控制器CPU使用率峰值在20%-45%,说明该存储控制器还可以承受更高的IO负载，如图8所示。系傀-CPU利用率图8.存储控制器CPU使用率2）该测试也未达到主机的系统性能瓶颈，CPU使用了低于20%,这一点在存储性能分析中也很重要。VW*tt、24SystMconflQuracton:lcpu16OmeO¾O4<XXBfaulcCPJICthr,e«BoryP9*billoooooooOoo100oor77OQ6、67co:76676t2426124245614924GO1X32?4OO17?424GO4O4O?4OO1Q124O39624O445?4OO445?246O>37?4f>OS44124&O2SOO2462777724«2911774GZ8B74&O7744740070422407642?4frO69O5246O7>45frri294S11612938O27A2897B271?915444O»1201517502i467>1291S5O5O121S2224AO9A-04217S,8146INa1.>24。$1291270451291?5322129>>31712Q1497X2914O31?12914S14812914721129144917，CyOOInO>yc>ussy1dwaO74SQ4636ei45OO15J526O214J915OO7OOO6741A416A774OO71R*MOA2211177MOOO72210G9O17A443OO7IQttS6015MMl27OOOO7SO569217ll2)OO711O69O«O117714OQOOC97gCd74C9172CAOQ7115G*Q121O7145>CkOoO70177094<>oma©00«15IMOO74775702296l7eOO74Q?5719SB4191614OO1.17797O525IdZT"OO7OOA46B7Q41743%OO72001091S9>17B41OO7174468882177063OO71S16S492O177701OO71J526<J797177991laulcpu2onw84JSs>so告£»9i7777y767y777777777。3。77777777y77777777r7ss6bvwfrrpO24O7S(M12914438O240001161291513S2O24GOO123AOXS。74<X>O9A17Q>O171ncsu»»yIdwaOO>i41C*CKM0/lttOS2747OO76)416<M221M92O27J7OO74O9S¢915712)2747OO7171g“，717Aft7747图9.主机系统的CPU使用率3）存储性能基线：表2中的测试数据就是特定的主机使用该存储的5个Iun在不同IO负载下的性能基线数据，在实际运行过程中，考虑到其他应用的IO、读写IO大小不均等因素，一般IOPS峰值在基线值的50%.4）吞吐量和IOPS:吞吐量=IOPS4IO大小，相同的业务场景,一般IO大小不会有明显变化，那么极限测试下的吞吐量与IOPS会呈正比关系，但吞吐量受限于网络带宽，IoPS又受限于存储Iun的处理能力；5）延时和IoPS:可以看出测试数据中延时和IOPS呈现出反比关系，即IoPS越低，延时反而越高，这是由于不同的IO大小的测试场景下，存储的负载压力不一样，即大IO的情况下，存储负载变大，IOPS下降，延时加大.而存储系统正常运行状态下的IOPS和延时关系如图10所示，大多数情况下存储的负载压力变大，IOPS增加，延时也开始变大，一旦延时过高就会影响业务系统的性能.所以大多数情况下，延时是最正要的存储性能指标，一股性能要求较高的业务系统，存储的延时需要低于5ms.图10.正常运行状态下的存储IOPS和延时3.存储性能优化存储性能分析与优化是一项长期、豆杂而里要的工作，需要明晰存储性能优化目标，做好详细性能分析，并制定阶段性的优化方案和验证方案，以确保存储性能优化工作的持续开展。3.1 优化策蜡存储性能优化工作具有一定的策略性，科学的优化策略才能指导制定更加合理的存储性能优化方案.D通盘考虑：存慵性能问题是一个全局性问题,需要通盘考虑10路径上的性能瓶颈，分析性能优化方案中可能出现的连锁反应，以提高性能优化决策的正确性.2）优化的性价比：制定合理的性能优化目标，在多种性能优化方案的选择上，要综合考虑方案成本、实施复杂性、收益等.3）规划更重