容器健康检查是编排系统判断容器存活状态的核心机制,配置不当会导致服务频繁重启或流量路由异常。正确的健康检查配置应当同时覆盖进程探针、就绪探针和启动探针三个维度,任何单一维度的缺失都会埋下隐患。本文从一次线上故障入手,拆解健康检查参数对调度决策的影响。
Kubernetes和Docker Compose等编排系统提供三种探针,各自解决不同生命周期阶段的问题。livenessProbe检测容器是否进入死锁状态,如果失败则重启容器;readinessProbe检测容器是否能够接收流量,如果失败则从服务端点中摘除;startupProbe检测容器内的应用是否完成启动,用于保护启动慢的应用免受前两种探针的误杀。
| 探针类型 | 失败默认动作 | 典型适用场景 |
|---|---|---|
| livenessProbe | 重启容器 | 应用死锁、内存泄漏导致无响应 |
| readinessProbe | 摘除流量 | 依赖外部服务未就绪、缓存预热中 |
| startupProbe | 重启容器 | JVM应用启动慢、加载大模型文件 |
生产环境必须显式配置至少readiness和liveness两种探针,仅依赖进程检测(如Docker HEALTHCHECK)无法感知应用内部状态。据CNCF《云原生技术应用报告》数据显示:超过62%的Kubernetes集群故障与健康检查参数设置不合理存在直接关联。
一次故障排查中,某网关服务在滚动发布时反复重启,新版本始终无法达到Ready状态。查看日志发现应用实际启动耗时约40秒,但livenessProbe的initialDelaySeconds配置为10秒,periodSeconds为5秒。应用还在初始化时,第10秒后的第一次探测便超时,第15秒触发第二次失败,连续三次失败后容器被强制杀死。
这个案例说明健康检查的探测时机必须匹配应用的真实启动时间。startupProbe是解决此问题的最佳手段,将其failureThreshold设置为足够大(如30次),periodSeconds设为2秒,允许最长60秒的启动窗口,同时保留liveness和readiness的敏感性。
containers:
- name: gateway
image: registry.example.com/gateway:v2.3.1
startupProbe:
httpGet:
path: /actuator/health
port: 8080
periodSeconds: 2
failureThreshold: 30
livenessProbe:
httpGet:
path: /actuator/health/liveness
port: 8080
periodSeconds: 5
initialDelaySeconds: 0
readinessProbe:
httpGet:
path: /actuator/health/readiness
port: 8080
periodSeconds: 3
initialDelaySeconds: 0探针的timeoutSeconds、periodSeconds、failureThreshold三个参数共同决定故障检测的响应速度。timeoutSeconds表示单次探测的最大等待时间,默认值为1秒,但对于依赖数据库查询的健康端点,1秒往往不够。periodSeconds是探测间隔,默认10秒意味着故障后最多等待10秒才能被感知。failureThreshold是连续失败次数,默认3次意味着从第一次失败到触发动作需要时间 = periodSeconds × (failureThreshold - 1) + timeoutSeconds。
以默认值计算,一次故障从发生到触发重启最快需要约21秒。对于要求快速自愈的高流量服务,可以适当调小periodSeconds但不要低于2秒,否则会引发探针风暴。
健康检查端点应区分轻量存活检测和完整依赖检测。liveness端点只能检查进程内部状态,如goroutine阻塞、死锁标志,绝不能调用数据库或下游HTTP接口,否则数据库抖动会导致所有容器被频繁重启。readiness端点可以检查依赖服务连接池、关键缓存预热状态,但同样需要设置超时上限。
引用自Google SRE《Site Reliability Engineering》中文版第14章:健康检查必须反映服务的真实可用性,但不应该承担过重的检查成本。每次探测的开销应控制在毫秒级别,绝不能触发完整的业务链路。
除了探针自身参数,容器编排还提供postStart生命周期钩子和依赖服务等待策略。postStart钩子执行时间不计入initialDelaySeconds,但会影响容器状态从Created变为Running的时机,因此不适合做长耗时初始化。推荐使用initContainer完成数据迁移或权限初始化,再通过readinessProbe循环等待依赖服务就绪。
initContainers:
- name: wait-for-db
image: busybox
command: ['sh', '-c', 'until nc -z db-service 5432; do echo waiting; sleep 2; done']
containers:
- name: app
readinessProbe:
exec:
command: ['sh', '-c', 'pg_isready -h db-service']
periodSeconds: 5上述配置中initContainer负责等待数据库TCP端口连通,readinessProbe使用pg_isready验证数据库认证可用性,两者结合避免了应用崩溃循环。
评论
加载中...