从内存故障看云服务优化管理.docx

一、告警现象(1)内存在22点11分触发可更正的Ecc故障；(2)内存在22点32分触发不可更正的ECC故障：(3)服务器于22点39分发生重启.22:39:33SYSeRestan系磔访0新启动开始通件复位.触发22:3906SYSeRestart系统启y三新启动开始热复位，收发22:39:05CPU1_C0D1内存可更正的ECCttW-解除223905CPU1C0D0内存可更正的ECC32»，解除22:3852CPU1.C0D1内存和EEfigECCSOT-g22:3235CPU1.C0D1内存三TEK)ECC三-位22:19:55ACPUIeCODO内存三j三EB9Eccaa-22:11:48ACPU1-C0D1内存三J三K)ECCM-tKi二、告警处理一般流程(1)服务器配者snmp告警监控；(2)自动触发告警形成告警工单；(3)工单流转运维工程师处理；运维工程师确认故障情况，确认迁移;(4)虚拟机迁移；(5)迁移后确认虚拟机业务状态；<6)故障硬件维修，恢宏原节点状态。三、故障情况分析(D内存基本知识内存DDRSDRAM简称DDR,双倍速率SDRAM,目前内存有DDR4、DDR5等.RAS全称为：ReliabilityAvailabilityServiceability.作用在于确保整个系统尽可能长期可靠的运行而不下线，并且具备足够强大的容错机制。RAS主要处理的方向有：CPU、内存、10/PC1.e上错误、芯片组的错误及平台硬件褶误.内存RAS方案：纠错码ECC存储器，通过为实际数据生成ECCSECDED（单位纠错和双比特错误检测）代码，并将其存储在额外的DRAM存储中，DDR控制器可以纠正单位错误并检测从DRAM接受的数据上的双比特错误.具体检查过程为：1 ）ECC代码由控制器根据实际WR写入数据生成，存储器存慵WR数据和ECC代码;2 ）在RD读操作期间，控制器从内存中读取数据和相应的ECC代码.并将其接收到ECC代码进行比较;3 ）如果存在匹配项，则未发生错误.如果存在不匹配,ECCSECDED机制允许控制器纠正任何单位错误并检测双比特错误.通过上述机制，以便在出现内存错误时延长整体系统正常运行时间.如果没有RAS功能，系统可能会因内存错误而变溃。RAS功能允许系统在出现可纠正的错误时继续运行，同时记录不可纠正的借误详细信息来供将来调试.RAS纠错当每24小时不超过10个错误时，即在阈值范围内，服务器可正常运行，当超过阈值,出现不可纠正的ECC错误，导致系统出现委启进行纠正.(2)故阳原因分析由上基本信息，的个公服务器运行多个虚拟机，在运行过程中出现可更正的ECC故障.因单物理机虚拟机业务依IH运行,并且超过最大错误阈依导致触发不可更正的ECC故施.最终导致物理书触发服务器?ftA'l来修正内存错误.四、云优化分析目前云基础环境不再仅仅是私有云单区域，更多的是多区域，区域下管理成千虚拟机及物理服务器。从上述告警触发时间可以看出，触发告警到服务器重启有约27分钟的处理时间，即在该段时间内须要完成对业务虚拟机的迁移.分解上述处理过程，更要过程可分解如下：1）告警触发告警触发后，可通过工单自动转发，到运维工程师.该环节需要保证物理服务器BMC管理台时间准确，并在触发告警后，尽可能缩短告警到运维工程师的时间.2）迁移判断告警触发后，需要判断告警情况，并确认物理服务器上虚拟机业务情况，确认可迁移.该部分需要平时对业务有一定的了解，对一般情况可快速做出判断.进一步，可对一般情况进行自动判断，减少该环节人工处理时间，自动识别后进行迁移.3）迁移确认迁移后，该部分涉及迁移命令执行及迁移过程.迁移过程会随虚拟机的内存等虚拟机自有特性有所差别.另外，还需要预留部分可用空间，完成此类故瞳迁移.迁移技术是决定此处迁移的核心点，好的迁移技术可以尽可能减少丢包，保证业务无感知，并可影响虚拟机迁移时间。另外，要考虑单物理服务器上虚拟机平均分布个数，保证整体平台的资源使用情况及利用率.4）状态确认平台层面可对迁移后的虚拟机进行基咄判断,保证操作系统、网络的正常.此处需要和业务进行沟通确保业务正常.同样可对不同亩要程度的业务进行分类管理,分散单物理机故障风险。综上所述，在云平台不断扩大的情况下，对迁移判断及迁移进行可自动化，缩短故障处理时间，可尽可能的避免故障的发生.云优化是一个逐渐改善的过程，只有通过不断的发现优化，整个云平台才会越来越完善.