性能排查中CPU使用率不高但平均负载飙高的根因定位

性能排查中CPU使用率不高但平均负载飙高的根因定位

1024KB1024KB 软件测试与质量 2026-10-30 15:29:17 浏览 56118 字数 1433

性能排查遇到CPU使用率不高但平均负载居高不下的情况时,核心结论是:平均负载不仅包含CPU运行队列,还包含不可中断睡眠进程(D状态)和IO等待,因此必须从磁盘IO、网络IO或锁等待等维度继续深挖,而不是只盯着CPU。这个判断能帮助工程师绕过“CPU空闲=系统健康”的误区,直接定位到真正的阻塞点。

平均负载与CPU使用率的关键差异

平均负载是单位时间内系统中处于可运行状态和不可中断睡眠状态的平均进程数。它反映的是系统的整体繁忙程度,而CPU使用率只统计CPU执行任务的时间占比。

两者差异体现在:当进程在等待磁盘IO或网络数据时,进程处于不可中断睡眠状态,平均负载会升高,但CPU使用率反而下降。据Google《Site Reliability Engineering》一书中的实践经验:平均负载超过CPU核数的70%时就应开始调查,而CPU使用率此时可能低于30%。

指标定义与瓶颈的关系
CPU使用率CPU处理指令的时间比例CPU计算密集型瓶颈
平均负载可运行+不可中断睡眠进程数CPU、IO、锁竞争综合瓶颈
不可中断睡眠进程等待IO或内核资源磁盘、网络、内存回收等

在性能排查时,必须先分清这两个概念。如果只盯着CPU使用率,很容易漏掉IO层面的问题。

平均负载飙高的几种典型场景

平均负载飙高的本质是进程在等待某个资源,这个资源可能是CPU时间片,也可能是磁盘IO、网络响应、内存分配或内核锁。

  • CPU密集:可运行进程排队,CPU使用率接近100%。
  • 磁盘IO密集:进程不可中断睡眠,CPU使用率低,等待block设备。
  • 内存压力:触发swap换页或内存回收,导致进程长时间睡眠。
  • 锁竞争与上下文切换:线程频繁阻塞在互斥锁上,平均负载升高但CPU利用率并不饱和。

其中磁盘IO密集是“CPU空闲但负载高”的最常见原因。尤其是在数据库和日志处理场景中,随机小文件读写很容易把磁盘IOPS耗尽。

使用 uptime 和 top 快速定位瓶颈

第一步是查看系统的平均负载数值和进程状态。执行《uptime》或《top》命令时,如果CPU的%us和%sy之和低于50%,而load average的数值明显超过CPU核数,则基本可以排除CPU计算瓶颈。

$ uptime
 10:23:45 up 30 days,  2:12,  2 users,  load average: 8.32, 7.45, 6.10

如果服务器是4核CPU,运行队列平均8.32明显超标。继续执行top命令并按状态筛选:

$ top -n 1 -b | grep "^PID" -A 5
PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
3056 mysql     20   0  24.6g   5.2g  8.2g D   0.3   6.7  45:02.34 mysqld

看到进程状态列为D(uninterruptible sleep)且%CPU接近0时,说明该进程正阻塞在IO上。这里的D状态是Linux特有的不可中断睡眠,通常由磁盘读写或内核信号量等待触发。

通过 pidstat 和 /proc/struct 确认IO等待的具体来源

进程处于D状态并不足以定位根因,需要进一步确认是磁盘IO还是网络IO,或者内核锁。使用《pidstat -d》可以查看进程的IO读写速率和等待时间。

$ pidstat -d -p 3056 1 3
10:24:01 UID PID kB_rd/s kB_wr/s kB_ccwr/s delay
10:24:02 0   3056 1024.5 0.00 0.00 0.12
10:24:03 0   3056 998.2 0.00 0.00 0.10

如果kB_rd/s持续居高不下,且delay列(IO阻塞时间)显著,则根因指向磁盘IO。配合《iostat -x 1》可看到磁盘的%util和await参数是否饱和。

$ iostat -x 1
Device r/s w/s rkB/s wkB/s rrqm/s wrqm/s %rrqm %wrqm r_await w_await aqu-sz rareq-sz wareq-sz %util
vda 88.0 12.3 1024.0 45.0 0.0 1.0 0.0 8.1 22.3 18.0 1.02 11.6 0.5 95.3

%util超过90%代表磁盘已经接近饱和。此时平均负载高是磁盘成为瓶颈的确凿证据。

案例排查:一次日志写入引发的平均负载异常

某压测环境曾出现CPU使用率仅15%但平均负载达到32的故障。使用上述方法,很快就定位到应用进程持续写入日志文件。

通过《perf trace》抓取系统调用,发现大量调用集中在《write》和《fdatasync》。进一步检查发现日志组件开启同步刷盘模式,每次写日志都调用fsync强制落盘。磁盘的随机写入能力被完全消耗。

找到根因后,将日志写入改为异步批量刷新并增加缓冲,平均负载从32降至3.5。这个案例再次印证:性能排查的关键不在于CPU是否跑满,而在于找到进程真正等待的资源。

性能排查的常用工具组合

掌握工具组合可显著提升排查效率。针对不同层次,推荐以下组合:

  1. 负载概览:《uptime》《top》《glances》
  2. CPU线程:《mpstat》《pidstat -u》《perf top》
  3. 磁盘IO:《iostat》《iotop》《pidstat -d》
  4. 网络IO:《sar -n DEV》《nethogs》《tcpdump》
  5. 进程追踪:《strace》《perf trace》《ltrace》

一个完整的性能排查流程是:先看负载和CPU使用率,再定位到D状态的进程,随后用iostat和pidstat确认是否IO瓶颈,最后用strace追踪系统调用找到阻塞点。这套流程适用于大多数生产环境下的负载异常。

总结来说,当CPU使用率不高但平均负载高时,不要执着于调优CPU,优先检查磁盘IO和不可中断睡眠进程。用对工具,性能排查可以在十分钟内完成。

分享到:

评论

加载中...
我
还没有评论,快来抢沙发吧~