性能排查遇到CPU使用率不高但平均负载居高不下的情况时,核心结论是:平均负载不仅包含CPU运行队列,还包含不可中断睡眠进程(D状态)和IO等待,因此必须从磁盘IO、网络IO或锁等待等维度继续深挖,而不是只盯着CPU。这个判断能帮助工程师绕过“CPU空闲=系统健康”的误区,直接定位到真正的阻塞点。
平均负载是单位时间内系统中处于可运行状态和不可中断睡眠状态的平均进程数。它反映的是系统的整体繁忙程度,而CPU使用率只统计CPU执行任务的时间占比。
两者差异体现在:当进程在等待磁盘IO或网络数据时,进程处于不可中断睡眠状态,平均负载会升高,但CPU使用率反而下降。据Google《Site Reliability Engineering》一书中的实践经验:平均负载超过CPU核数的70%时就应开始调查,而CPU使用率此时可能低于30%。
| 指标 | 定义 | 与瓶颈的关系 |
|---|---|---|
| CPU使用率 | CPU处理指令的时间比例 | CPU计算密集型瓶颈 |
| 平均负载 | 可运行+不可中断睡眠进程数 | CPU、IO、锁竞争综合瓶颈 |
| 不可中断睡眠 | 进程等待IO或内核资源 | 磁盘、网络、内存回收等 |
在性能排查时,必须先分清这两个概念。如果只盯着CPU使用率,很容易漏掉IO层面的问题。
平均负载飙高的本质是进程在等待某个资源,这个资源可能是CPU时间片,也可能是磁盘IO、网络响应、内存分配或内核锁。
其中磁盘IO密集是“CPU空闲但负载高”的最常见原因。尤其是在数据库和日志处理场景中,随机小文件读写很容易把磁盘IOPS耗尽。
第一步是查看系统的平均负载数值和进程状态。执行《uptime》或《top》命令时,如果CPU的%us和%sy之和低于50%,而load average的数值明显超过CPU核数,则基本可以排除CPU计算瓶颈。
$ uptime 10:23:45 up 30 days, 2:12, 2 users, load average: 8.32, 7.45, 6.10
如果服务器是4核CPU,运行队列平均8.32明显超标。继续执行top命令并按状态筛选:
$ top -n 1 -b | grep "^PID" -A 5 PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 3056 mysql 20 0 24.6g 5.2g 8.2g D 0.3 6.7 45:02.34 mysqld
看到进程状态列为D(uninterruptible sleep)且%CPU接近0时,说明该进程正阻塞在IO上。这里的D状态是Linux特有的不可中断睡眠,通常由磁盘读写或内核信号量等待触发。
进程处于D状态并不足以定位根因,需要进一步确认是磁盘IO还是网络IO,或者内核锁。使用《pidstat -d》可以查看进程的IO读写速率和等待时间。
$ pidstat -d -p 3056 1 3 10:24:01 UID PID kB_rd/s kB_wr/s kB_ccwr/s delay 10:24:02 0 3056 1024.5 0.00 0.00 0.12 10:24:03 0 3056 998.2 0.00 0.00 0.10
如果kB_rd/s持续居高不下,且delay列(IO阻塞时间)显著,则根因指向磁盘IO。配合《iostat -x 1》可看到磁盘的%util和await参数是否饱和。
$ iostat -x 1 Device r/s w/s rkB/s wkB/s rrqm/s wrqm/s %rrqm %wrqm r_await w_await aqu-sz rareq-sz wareq-sz %util vda 88.0 12.3 1024.0 45.0 0.0 1.0 0.0 8.1 22.3 18.0 1.02 11.6 0.5 95.3
%util超过90%代表磁盘已经接近饱和。此时平均负载高是磁盘成为瓶颈的确凿证据。
某压测环境曾出现CPU使用率仅15%但平均负载达到32的故障。使用上述方法,很快就定位到应用进程持续写入日志文件。
通过《perf trace》抓取系统调用,发现大量调用集中在《write》和《fdatasync》。进一步检查发现日志组件开启同步刷盘模式,每次写日志都调用fsync强制落盘。磁盘的随机写入能力被完全消耗。
找到根因后,将日志写入改为异步批量刷新并增加缓冲,平均负载从32降至3.5。这个案例再次印证:性能排查的关键不在于CPU是否跑满,而在于找到进程真正等待的资源。
掌握工具组合可显著提升排查效率。针对不同层次,推荐以下组合:
一个完整的性能排查流程是:先看负载和CPU使用率,再定位到D状态的进程,随后用iostat和pidstat确认是否IO瓶颈,最后用strace追踪系统调用找到阻塞点。这套流程适用于大多数生产环境下的负载异常。
总结来说,当CPU使用率不高但平均负载高时,不要执着于调优CPU,优先检查磁盘IO和不可中断睡眠进程。用对工具,性能排查可以在十分钟内完成。
评论
加载中...