延迟问题排查的第一原则是沿着请求链路逐层量化耗时,而不是凭经验猜测。一次线上事故让我深刻体会到,只有用数据定位瓶颈,才能避免在错误的层级打转。这次事故的根因最终指向数据库连接池配置不当,但排查过程却遍历了网络、GC、线程池等多个环节,正是这些环节的逐一排除,才让真正的问题浮出水面。
确认故障影响范围后,第一步需要做的不是抓日志,而是利用链路追踪把请求经过的所有节点耗时量化出来。事故发生在一次促销活动的晚高峰,核心用户查询接口的P99响应时间从平时的50毫秒飙升到2秒,但服务端的CPU和内存使用率却一直停留在正常水位。
我首先用ping检查了对端服务的网络连通性,往返延迟只有0.3毫秒,排除了基础网络故障。接着用curl观察应用入口的耗时分布,重点看TTFB(第一个字节返回的时间)和total时间之间的差距。
curl -s -o /dev/null -w "dns:%{time_namelookup} connect:%{time_connect} tls:%{time_appconnect} ttfb:%{time_starttransfer} total:%{time_total}\n" https://api.example.com/query输出显示DNS解析为1毫秒,TCP连接为1毫秒,但TTFB达到了1.9秒,说明耗时发生在服务端处理逻辑,而不是网络传输。链路追踪平台(这里用的Jaeger)进一步显示,请求在订单服务内停留了1.7秒,其中数据库调用占用了1.5秒。
排除网络因素后,应用进程内部的线程状态和GC行为往往隐藏着关键线索。在JVM层面,我先后使用了jstack和jstat两个命令,分别导出线程快照和查看垃圾回收统计。
# 打印线程快照 jstack -l 12345 > thread.dump # 查看GC统计,每1秒输出一次,共10次 jstat -gcutil 12345 1000 10
线程快照中出现了大量处于BLOCKED状态的线程,它们都阻塞在同一个可重入锁上,完全符合连接池资源竞争的特征。而jstat的输出显示FGC(Full GC)次数并不多,GC暂停总时间只有0.5%,GC因素可以暂时排除。真正需要关注的是那些等待锁的线程在等待什么资源——通过堆栈信息发现,它们正在等待一个名为HikariCP的数据库连接对象。
数据库慢查询和连接池参数不匹配是延迟问题的两大主要根因,本次事故的根因正是连接池的最大连接数被耗尽。开启数据库的慢查询日志后,发现确实存在少量慢SQL,但多数查询的耗时仅为20~30毫秒,并不足以解释1.5秒的延迟。
SHOW VARIABLES LIKE 'slow_query_log'; SET GLOBAL slow_query_log = 'ON'; SET GLOBAL long_query_time = 1; SELECT * FROM information_schema.processlist ORDER BY time DESC;
用EXPLAIN分析几个典型慢SQL,发现索引命中正常,扫描行数也在可控范围。问题定位到了连接池本身:当前服务使用HikariCP,配置的maximum-pool-size为10,但高峰期并发请求数超过200,每个请求需要从连接池获取连接执行SQL,连接被抢完后,剩余的请求只能阻塞等待获取连接,最长等待时间达到了1.4秒。
| 排查工具 | 定位层级 | 关键输出 |
|---|---|---|
| ping | 网络层 | 往返耗时、丢包率 |
| curl -w | 应用入口 | DNS、TCP、TLS、TTFB |
| jstack | JVM线程 | 线程状态、锁信息、堆栈 |
| jstat | JVM GC | GC次数、暂停时间 |
| EXPLAIN | 数据库 | 执行计划、扫描行数 |
将HikariCP的maximum-pool-size从10调整到50,同时把connection-timeout从30秒降为3秒,让等待超时的请求快速失败而不是无限堆积。调整后重新压测,接口P99从2秒回落到55毫秒,问题彻底解决。
这里补一句经验:连接池不是越大越好,过大的连接池反而会导致数据库线程上下文切换加剧,而且每个连接都会占用内存。合理的做法是根据数据库的最大连接数和业务并发模型动态设置,一般建议初始值设为CPU核数的2倍,再逐步压测上调。
延迟问题排查的核心路径可以归纳为“先网络后应用,先线程后GC,先慢查询后连接池”。这条路径不是固定模板,而是为了在乱局中快速收敛范围,避免在无关环节浪费精力。
本次事故教会我一个道理:很多延迟问题表象复杂,但根因往往藏在某一行配置里。用链路追踪量化每一环耗时,用工具提取线程快照和数据库连接状态,让证据说话,而不是靠猜。
评论
加载中...