首页 / LINUX / [文章]Linux宕机故障分析案例
[文章]Linux宕机故障分析案例
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了[文章]Linux宕机故障分析案例,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含2469字,纯文字阅读大概需要4分钟。
内容图文
![[文章]Linux宕机故障分析案例](/upload/InfoBanner/zyjiaocheng/951/a91e1c1b2c0e46deb7ee251e6b13b734.jpg)
[文章]Linux宕机故障分析案例
已采纳 收藏 0 1669 0 马化辉 2018-07-01发布背景
在Linux系统环境下,服务器宕机发生的频率比较小,但是不少工程师或多或少都会遇到这种情况,有时候会手足无措,不知从何入手。笔者将借助一次案例分析,展示下Linux宕机故障事件的处理方法和思路。
宕机发生的原因不一,或者是硬件原因,或者是性能原因,或者是服务器触发了Linux的bug,导致内核崩溃等等。
案例分析
1、 案情还原;
生产系统服务器dcspodsaa1在4月25日凌晨00:49分发生服务器宕机故障,当时系统管理员对硬件报错进行了截图(保留现场很重要),看字面意思应该是服务器的swap设备发生损坏:
2、 分析方法一:使用sosreport收集系统日志,检查/var/log/messages日志,查找系统重启前是否存在错误日志,图中kernel***/proc/kmsg started代表系统启动的第一条日志,在此之前没有发现异常日志,
3、 分析方法二:检查服务器开启了kdump服务,并在/var/crash目录找到了当天生成的vmcore文件,使用crash工具分析vmcore文件,如下:
服务器发生了严重的系统崩溃panic错误
对kdmp文件的错误日志进行分析,发现了大量的swap 设备读写错误:
4、 根据报错” Kernel panic –not syncing:Attempted to kill init”,查询到红帽官网KB:https://access.redhat.com/solutions/1450043,得到此次宕机事件的原因是系统 swap设备I/O读写失败,触发系统kill掉主进程“init”,系统发生内核崩溃,而关于系统swap分区读写错误产生的深层原因,涉及到Redhat底层内核的程序,建议开启红帽的官方case进行深度的分析处理 。
5、 分析方法三:检查系统历史性能记录,/var/log/sa/路径下记录了每天由sysstat服务收集的sar(system activity report)文件,默认每10分钟记录一次系统资源使用情况的信息,包括CPU、内存等。通过sar命令查看系统宕机时负载情况,没有发现资源使用异常,基本可以排除不是系统因性能不足从而导致宕机
4.25号性能记录文件
使用命令sar –A –F sa25 | more检查CPU性能信息和内存性能信息,没有发现异常情况。
其他配置
- 开启kdump:
安装依赖包
启动服务
设置开启启动
修改默认crashkernel参数为256M, 注意需重启系统才生效
- 使用crash工具分析vmcore文件:
1) 安装crash包,可使用yum安装
2) 安装kernel-debug内核版本,该rpm包必需和故障系统的内核版本一致
先使用unamre –r查看故障机版本
安装相应包
3) 启动crash检查
小结
因此,在处理故障时,一般的思路是:
1. 首先应查找故障前的错误日志线索,可以通过检查系统messages日志中的错误日志;
2. 如果没有,进而排查系统是否触发kdump服务(在系统由于内核崩溃而导致宕机时,可以捕获故障时内存中的故障信息);
3. 另外也需要分析系统资源(CPU、内存等)使用上出现异常。
---------------------
原文来自【学领未来】,转载时请保留原文链接。
链接:http://bbs.learnfuture.com/topic/detail?id=0846bac5-a369-405e-83d5-daa15272db46
内容总结
以上是互联网集市为您收集整理的[文章]Linux宕机故障分析案例全部内容,希望文章能够帮你解决[文章]Linux宕机故障分析案例所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。