从一次线上事故看延迟问题排查的五个突破口

从一次线上事故看延迟问题排查的五个突破口

1024KB1024KB 软件测试与质量 2026-10-30 20:38:57 浏览 88128 字数 1429

延迟问题排查的第一原则是沿着请求链路逐层量化耗时,而不是凭经验猜测。一次线上事故让我深刻体会到,只有用数据定位瓶颈,才能避免在错误的层级打转。这次事故的根因最终指向数据库连接池配置不当,但排查过程却遍历了网络、GC、线程池等多个环节,正是这些环节的逐一排除,才让真正的问题浮出水面。

从现象到网络层排查

确认故障影响范围后,第一步需要做的不是抓日志,而是利用链路追踪把请求经过的所有节点耗时量化出来。事故发生在一次促销活动的晚高峰,核心用户查询接口的P99响应时间从平时的50毫秒飙升到2秒,但服务端的CPU和内存使用率却一直停留在正常水位。

我首先用ping检查了对端服务的网络连通性,往返延迟只有0.3毫秒,排除了基础网络故障。接着用curl观察应用入口的耗时分布,重点看TTFB(第一个字节返回的时间)和total时间之间的差距。

curl -s -o /dev/null -w "dns:%{time_namelookup} connect:%{time_connect} tls:%{time_appconnect} ttfb:%{time_starttransfer} total:%{time_total}\n" https://api.example.com/query

输出显示DNS解析为1毫秒,TCP连接为1毫秒,但TTFB达到了1.9秒,说明耗时发生在服务端处理逻辑,而不是网络传输。链路追踪平台(这里用的Jaeger)进一步显示,请求在订单服务内停留了1.7秒,其中数据库调用占用了1.5秒。

应用进程内部的耗时分布

排除网络因素后,应用进程内部的线程状态和GC行为往往隐藏着关键线索。在JVM层面,我先后使用了jstack和jstat两个命令,分别导出线程快照和查看垃圾回收统计。

# 打印线程快照
jstack -l 12345 > thread.dump
# 查看GC统计,每1秒输出一次,共10次
jstat -gcutil 12345 1000 10

线程快照中出现了大量处于BLOCKED状态的线程,它们都阻塞在同一个可重入锁上,完全符合连接池资源竞争的特征。而jstat的输出显示FGC(Full GC)次数并不多,GC暂停总时间只有0.5%,GC因素可以暂时排除。真正需要关注的是那些等待锁的线程在等待什么资源——通过堆栈信息发现,它们正在等待一个名为HikariCP的数据库连接对象。

数据库与连接池的隐性陷阱

数据库慢查询和连接池参数不匹配是延迟问题的两大主要根因,本次事故的根因正是连接池的最大连接数被耗尽。开启数据库的慢查询日志后,发现确实存在少量慢SQL,但多数查询的耗时仅为20~30毫秒,并不足以解释1.5秒的延迟。

SHOW VARIABLES LIKE 'slow_query_log';
SET GLOBAL slow_query_log = 'ON';
SET GLOBAL long_query_time = 1;
SELECT * FROM information_schema.processlist ORDER BY time DESC;

用EXPLAIN分析几个典型慢SQL,发现索引命中正常,扫描行数也在可控范围。问题定位到了连接池本身:当前服务使用HikariCP,配置的maximum-pool-size为10,但高峰期并发请求数超过200,每个请求需要从连接池获取连接执行SQL,连接被抢完后,剩余的请求只能阻塞等待获取连接,最长等待时间达到了1.4秒。

排查工具定位层级关键输出
ping网络层往返耗时、丢包率
curl -w应用入口DNS、TCP、TLS、TTFB
jstackJVM线程线程状态、锁信息、堆栈
jstatJVM GCGC次数、暂停时间
EXPLAIN数据库执行计划、扫描行数

调整连接池参数后的验证

将HikariCP的maximum-pool-size从10调整到50,同时把connection-timeout从30秒降为3秒,让等待超时的请求快速失败而不是无限堆积。调整后重新压测,接口P99从2秒回落到55毫秒,问题彻底解决。

这里补一句经验:连接池不是越大越好,过大的连接池反而会导致数据库线程上下文切换加剧,而且每个连接都会占用内存。合理的做法是根据数据库的最大连接数和业务并发模型动态设置,一般建议初始值设为CPU核数的2倍,再逐步压测上调。

总结一套可复用的排查路径

延迟问题排查的核心路径可以归纳为“先网络后应用,先线程后GC,先慢查询后连接池”。这条路径不是固定模板,而是为了在乱局中快速收敛范围,避免在无关环节浪费精力。

  1. 先确认是网络还是应用内部耗时,用curl的time_connect和time_starttransfer做初判。
  2. 应用内部优先检查线程状态和锁竞争,jstack是诊断阻塞最直接的利器。
  3. GC问题通过jstat和GC日志数据判断,大多数延迟跟GC暂停有关。
  4. 数据库层面依次看慢查询日志、进程列表和EXPLAIN计划,注意连接池等待也是隐藏的瓶颈。
  5. 最终修改配置后要做对比验证,并且记录调整前后的关键指标。

本次事故教会我一个道理:很多延迟问题表象复杂,但根因往往藏在某一行配置里。用链路追踪量化每一环耗时,用工具提取线程快照和数据库连接状态,让证据说话,而不是靠猜。

分享到:

评论

加载中...
我
还没有评论,快来抢沙发吧~