由Docker BUG引起的Linux宕机事故及解决办法

       1背景

       某运营商业务系统的服务器发生宕机，针对本次宕机事故进行排查。源码源码

       文章福利小编推荐自己的下载Linux内核源码交流群: 整理了一些个人觉得比较好的学习书籍、视频资料共享在群文件里面，导航导航有需要的源码源码可以自行添加哦！！下载bt种子 源码电影！导航导航前名可进群领取，源码源码并额外赠送一份价值的下载内核资料包（含视频教程、电子书、导航导航实战项目及代码)！源码源码

       学习直通车： Linux内核源码/内存调优/文件系统/进程管理/设备驱动/网络协议栈

       2解决过程

       我们都知道kdump是下载在Linux系统崩溃、死锁、导航导航通信达添加源码死机的源码源码时候用来转储内存运行参数的服务。系统崩溃后内核无法正常工作，下载这时kdump会产生一个用于capture当前运行信息的内核，将此时的内存中的所有运行状态和数据信息收集到vmcore文件中，收集完成后系统将自动重启。本次使用crash分析linux kdump日志。在线修改网站源码

       进入crash控制台

       PANIC为内核崩溃类型，这里是一个BUG，内核无法处理空指针

       在crash查看log，发现有很多Out-of-Memory

       通过bt查看系统崩溃前内核依次调用的一系列函数，查看内核在何处崩溃。以"# 数字"开头的流量指标公式源码行为调用堆栈:

       通过bt分析，可以定位到崩溃前的一个exception是ip寄存器RIP的异常，使用dis命令来看一下该地址的反汇编结果：

       从上面的反汇编结果中，我们看到问题出在ip6mr.c文件行代码，翻开linux源码的相应位置:

       撸内核源码 + Google

       通过走读Linux源码和Google，发现当系统创建新的namespaces时，会因为ip6mr_sk_done的神经交易ea源码值为空而引起系统混乱，从而导致内核无法正常分配内存，所以我们在log文件中看到了许多Out-of-Memory。

       在Kubernetes环境，提到namespaces就能想到docker，因为namespaces是docker的核心技术之一，容器的资源隔离由namespace来实现。

       通过检查docker的网络，发现其中一个子网为空

       解决办法

       内核配置加入"net.ipv6.conf.all.disable_ipv6 = 1",关闭 IPV6，防止触发 docker BUG；

       从内核的层面看，目前该Issue仍然没有close。在开启IPv6的环境，docker为什么会出现这个BUG，后续有空再研究，欢迎大家指正。

       3END

       Linux 内核虽然号称“不死族”,几乎不会崩溃或死机，但也有特殊情况，设备也有一定的使用周期，系统的高可用还是要的。

       虽然你单点运行服务时很帅，但是你处理故障时的样子真的很狼狈。

       往期精彩推荐：

       最新干货！使用eBPF LSM热修复Linux内核漏洞

       盘点那些Linux内核调试手段——内核打印

       Linux 环境下网络分析和抓包是怎么操作的？

       浅谈ARMLinux内核页表的块映射

       Linux性能观测之dstat命令详解