一、日志说明
- /var/log/message &/syslog –系统启动后的信息和错误日志。
- /var/logdmesg –包含内核缓冲信息。在系统启动时，会在屏幕上显示许多与硬件有关的信息,可以用dmesg查看
- /var/log/lastlog –记录所有用户的最近信息。需要用lastlog命令查看内容。
- /var/log/boot.log –守护进程启动和停止相关的日志消息
- /var/log/secure –与安全相关的日志信息 包含验证和授权方面信息。例如sshd会将所有信息记录(其中包括失败登求)
- /var/log/maillog –与邮件相关的日志信息
- /var/log/cron –与定时任务相关的日志信息 每当cr进程开始一个工作时，就会将相关信息记录在这个文件中;
- /var/log/wtmp –永久记录所有用户登录、注销及系统的启动、停机的事件
- /var/log/btmp –记录失败的登录尝试信息。使用last命令可以查看btmp文件。last -f /var/log/btmp | more
- /var/log/kern.log –包含内核产生的日志，有助于在定制内核时解决问题。
- /var/log/sa/* –包含每日由sysstat软件包收集的sar文件。
- /var/log/fsck/* –fsck命令日志
二、日志分析
- 可用于过滤系统日志的命令:
cat，tail -f等命令查找message syslog等日志中有用信息
- 可通过系统异常的时间点以及关键字单词error、panic和warning等信息查找，例如：grep -i error /var/log/messages && cat /var/log/messages | grep 'reboot'
- 通过/var/log/message、/var/log/dmesg等日志文件，查看系统异常宕机或重启的关键信息，如下:
1) 确认在问题时间点是否有正常的reboot等命令调用导致异常重启;
2) 确认是否有用户的程序运行调用导致异常宕机或重启，是否有memory信息的内存错误;
3) 查看串口日志打印日志，查看是否有异常信息;
4) 查看/var/crash目录下是否有以异常事件命名的文件夹以及crash日志产生，确认是否为panic导致的重启或者oom导致的重启(oom指的是程序在运行申请内存的时候，内存不足了导致的重启)。
三、排查异常宕机产生的时间
- 执行history命令查看系统执行了哪些操作，查看系统日志message或syslog进一步分析异常宕机发生的信息
- 执行last命令检查系统重新启动的时间，再根据客户描述来大概判断是正常人为还是异常宕机
- last命令查询最近登录到系统的用户和系统重启的时间和日期。是确定系统是否正确关闭的最佳建议
- 每次用户登录系统时，将该会话的记录都会写入/var/log/wtmp文件。
- 记录以相反的时间顺序打印，从最近的开始
使用 last -n 10 显示最新的十行信息
- 显示之前重启条目的列表：last -x reboot
- 如果没有信息:则可能是断电或其他外部原因
- 如果有信息:在重新启动/关闭时间附近的日志中搜索
- 显示系统中所有用户最近一次登录信息:lastlog