一、问题概述：
成都创新互联公司专注于网站建设，为客户提供成都做网站、成都网站制作、
成都外贸网站建设、网页设计开发服务，多年建网站服务经验，各类网站都可以开发，
品牌网站设计，公司官网，公司展示网站，网站设计，建网站费用，建网站多少钱，价格优惠，收费合理。
Nginx服务器，HP，有冗余，其中一台服务器mcelog负载比较高，日志秒级别，已经影响了此服务器业务。
tail -f /var/log/mcelog
#注意看此信息是不断循环，注意看
Transaction:Memory scrubbing error
MemCtrl:Corrected patrol scrub error
Erroroverflow
Corrected error
#注意看其它信息
CPU16 BANK 9
MCE11
337335 MCi_MISCregister valid
337336 MCi_ADDRregister valid
337337 MCA:MEMORY CONTROLLER MS_CHANNEL1_ERR
337338 Transaction:Memory scrubbing error
337339 MemCtrl:Corrected patrol scrub error
337340
337341 STATUScc0048c0000800c1 MCGSTATUS 0
337342 MCGCAP1000812 APICID 8 SOCKETID 0
337343 CPUIDVendor Intel Family 6 Model 45
337344 Hardwareevent. This is not a software error.
337345 MCE10
337346 CPU16 BANK 9
337347 MISC90011000010008c ADDR 15e0e2000
337348 TIME1495308194 Sun May 21 03:23:14 2017
337349 MCGstatus:
337350 MCistatus:
337351 Erroroverflow
337352 Correctederror
337353 MCi_MISCregister valid
337354 MCi_ADDRregister valid
337355 MCA:MEMORY CONTROLLER MS_CHANNEL1_ERR
337356 Transaction:Memory scrubbing error
337357 MemCtrl:Corrected patrol scrub error
337358
337359 STATUScc0003c0000800c1 MCGSTATUS 0
337360 MCGCAP1000812 APICID 9 SOCKETID 0
337361 CPUIDVendor Intel Family 6 Model 45
337362 Hardwareevent. This is not a software error.
337363 MCE11
337364 CPU17 BANK 9
337365 MISC90011000010008c ADDR 15e0f8000
337366 TIME1495308194 Sun May 21 03:23:14 2017
337367 MCGstatus:
337368 MCistatus:
337369 Erroroverflow
337370 Correctederror
tail -f /var/log/messages
二、mcelog简单说明
2.1）mcelog此服务是什么？
检查硬件错误，特别是内存和CPU错误的工具
2.2）mcelog工作模式？
cron trigger （效率高低问题）
daemon （centos目前形式） 默认日志打到/var/log/mcelog
2.3）mcelog安装
yum install mcelog or 编译即可。
三、问题分析：
3.1）error信息：
Transaction:Memory scrubbing error
MemCtrl:Corrected patrol scrub error
Erroroverflow
Corrected error
注意，通过上面的报错信息可以判断内存可能出了问题，因为mcelog日志报错，则很可能是硬件信息故障。
3.2）其它信息
MCE（Machine Check Exception)是一类计算机硬件错误。可能原因有：
内存报错，内存缓存故障，cpu故障，也可能和主板，总线有关系。
CPU16 BANK 9
CPU 17 BANK 9 ...
bank定义：
传统内存系统为了保证CPU的正常工作，必须一次传输完CPU在一个传输周期内所需要的数据。而CPU在一个传输周期能接收的数据容量就是CPU数据总线的位宽，单位是bit（位）。内存与CPU之间的数据交换通过主板上的北桥芯片进行，内存总线的数据位宽等同于CPU数据总线的位宽，这个位宽就称之为物理Bank。
bank:一直想通过bank和上面日志，排查可能哪个插槽有问题。这里希望大家给予提示。
3.3）查看服务器各指示灯：
正常。（这里很意外，不过如果问题刚产生不久，指示灯也不会立马出问题）
3.4）咨询朋友
建议：一般硬件出了问题，建议换内存，备份数据等。
四、处理顺序(renzhiyuan.blog.51cto.com)
4.1）先平滑迁移业务保障业务正常运行。
4.2）备份数据，并确保数据的可用性。
4.3）切勿重启，先尝试清楚内存缓存，inode，目录。排除缓存问题。
4.4）如果负载很高，可考虑关闭mcelog服务。
4.5）hp服务器有硬件分析功能，可先排查。
4.6）准备相同规格内存条，尝试更换内存条（最好不要动每个内存原本的位置，一般内存不是很多，可尝 试，要是能判断哪个插槽出问题，可先替换）
4.7）如果更换内存条无效，则可能其它硬件问题，考虑维修处理。
4.8)以上所有进度和结果，做备案，并及时和领导反映。
另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
分享文章：线上服务mcelog负载异常分析处理流程-创新互联
分享网址：
http://cdkjz.cn/article/iogji.html
