Kubernetes中“Pod sandbox changed”发生的原因探讨

摘要：今天查看测试环境有一个pod的状态是“RunContainerError”，当我describe pod的时候看到事件信息是：“Pod sandbox changed, it will be killed and re-created.”

今天查看测试环境有一个pod的状态是“RunContainerError”，当我describe pod的时候看到事件信息是：“Pod sandbox changed, it will be killed and re-created.”

SandboxChanged

原因是 SandboxChanged，我们先弄清楚这个sandbox（沙箱）具体是什么。Kubernetes 使用容器运行时（如 Docker、containerd 等）来管理容器。当容器运行时出现问题，例如容器运行时自身的配置更新、版本升级或者内部错误，可能会导致 Pod 的沙箱环境（Sandbox）需要重新创建。容器运行时负责创建和管理容器的隔离环境，包括网络、文件系统等方面的隔离。如果这些配置或者状态发生变化，就会触发沙箱的改变。

所以出现 "Pod sandbox changed, it will be killed and re-created." 的情况可能由以下几个原因导致：

1. 节点内存不足：如果节点上内存不足，这种情况下，容器可能会因为内存不足而被 OOM（Out of Memory）杀死，导致 Pod 沙箱环境改变。

2. 资源限制设置不当：如果为 Pod 设置的资源限制（如内存限制）太小，或者单位设置不正确（例如将内存的单位错误地设置为 `m` 而不是 `Mi` 或 `M`），可能导致 Sandbox 无法成功运行。这种情况下，Pod 会被杀死并重新创建。

3. CNI 网络错误：CNI（Container Network Interface）网络插件的问题，如 IP 地址溢出等，也可能导致 Pod 沙箱环境改变。

4. 系统时间问题：如果节点的系统时间被修改，导致重启前后系统时间不一致，可能会影响 kubelet 内部缓存中沙箱的排序，导致沙箱名称冲突，从而产生沙箱改变的问题。

结合我当前的pod有很多 Restart 的记录，我猜测是测试环境Node内存不足了，触发了 Pod 重启过，但是Pod最终未能正常启动。