CMS垃圾收集器在旧生代空间增长接近阈值时触发Full GC,这是Java应用长时间运行后最常见的性能杀手之一。我经历过一次典型的线上事故:服务在高峰期每两分钟发生一次Full GC,单次停顿超过800毫秒,直接导致接口超时率飙升。排查发现根因是晋升对象速率过快与CMS并发模式失败同时发生,调整参数后停顿降到了120毫秒以内。这篇文章复盘整个定位过程与调优决策,供遇到同类问题的团队参考。
CMS的Full GC不是随机发生的,它由三个确定性的触发条件构成。第一个是旧生代空间占用达到CMSInitiatingOccupancyFraction设定的阈值,并发收集启动后如果回收速度跟不上对象晋升速度,就会退化成Serial Old的Full GC。第二个是元数据区Metaspace扩容触发,当加载新类导致Metaspace接近容量上限时,JVM会暂停应用执行Full GC。第三个是调用System.gc()或者代码里显式触发,这在很多框架内部存在,比如DirectByteBuffer的回收路径就会调用它。
Promotion Failed和Concurrent Mode Failure是CMS特有的两种失败模式,它们的发生机制完全不同。Promotion Failed发生在年轻代晋升对象到旧生代时,发现旧生代连续空间不足,此时会触发“附带整理”的Full GC。而Concurrent Mode Failure是并发收集期间,旧生代占用率在CMS完成标记清理前就超过了预留空间,JVM直接切换到Serial Old做全停顿回收。据Oracle官方《Java Platform, Standard Edition HotSpot Virtual Machine Garbage Collection Tuning Guide》数据显示:当CMSInitiatingOccupancyFraction设置为68时,发生Concurrent Mode Failure的概率显著低于默认值92。
第一步是确认Full GC的真实频率与单次耗时,而不是依赖监控面板的粗略统计。通过jstat -gcutil观察进程每100毫秒的堆变化,记录下Full GC发生前旧生代的使用率曲线。如果旧生代在多次Full GC之间呈现阶梯式上涨,说明对象晋升速率持续高于回收速率。第二步是抓取堆转储做对象分布分析,重点寻找byte[]、char[]和ConcurrentHashMap相关节点,它们在CMS下最容易成为旧生代的大对象来源。第三步是结合业务日志确认Full GC的时间点是否与流量峰值重合,这能帮助区分是负载问题还是泄漏问题。
我在这起事故中抓到的关键证据是:Full GC前旧生代使用率始终在70%左右徘徊,CMS触发阈值设为92,这意味着并发收集从未启动。等到旧生代涨到92时,并发标记来不及完成,立刻退化成Full GC。这就是典型的阈值设置不合理造成的连锁反应。
开启GC日志是定位这类问题的必要条件。使用-Xloggc:/path/to/gc.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps记录完整日志,然后关注日志中"CMS: "开头的并发阶段记录。如果出现"CMS: abort preclean due to time",说明预清理阶段超时被中断;如果出现"CMS: remark"后紧跟"Full GC",说明最终标记阶段对象图变化过大。通过按时间戳对齐业务异常日志与GC事件,能把因果关系的误差缩小到秒级。
针对并发模式失败,最直接的调整是把CMSInitiatingOccupancyFraction从默认值降到合理区间。这个值需要根据应用的存活对象比例来定,常见做法是先观测Full GC前旧生代使用率的历史基线,然后取基线的80%作为触发阈值。在我的案例里,Full GC前旧生代稳定在70%,所以把74设为触发阈值,预留6%的空间给并发回收期间的浮动。
第二个重要的参数是CMSRescanMultiple和CMSConcMarkMultiple,它们控制并发标记阶段的工作量分配。增大CMSConcMarkMultiple到128可以减少并发标记的时长,但会略微增加CPU压力。如果应用对CPU敏感,保守起见保持默认值即可。还有一个容易漏掉的参数是UseCMSCompactAtFullCollection和CMSFullGCsBeforeCompaction,它们决定Full GC时是否做空间整理。频繁的碎片整理会放大停顿时间,建议把CMSFullGCsBeforeCompaction设为3到5,让JVM每几次Full GC才做一次压缩。
在这个案例的堆转储里,byte[]占了存活对象总量的42%,远高于正常水平。逐层排查后发现是MySQL驱动版本过低,结果集在通信层被完整缓存在byte[]中,断开连接后一部分对象逃逸进了旧生代。据Percona博客《The MySQL Driver Memory Leak That Keeps on Giving》分析:低于5.1.49的MySQL Connector/J版本在useCursorFetch=true时,存在已知的ResultSet缓存溢出问题。升级驱动后,旧生代对象增长率立刻下降35%。这提醒我们排查GC问题时不要只盯着JVM参数,驱动和中间件的版本往往才是根因。
连接池的minIdle和maxPoolSize如果配置不当,会间接放大GC压力。连接池长期保持大量空闲连接,每个连接底层的网络缓冲区都会持有固定大小的堆外内存,这部分不会直接触发CMS Full GC,但当它们转换为活跃连接时,会初始化大量的byte[]对象进入堆内。HikariCP官方文档建议maximumPoolSize设置为CPU核心数加1,超卖连接数并不会提升吞吐,只会增加无效对象创建。
当CMS参数调到合理范围仍无法满足低延迟要求时,切换到G1需要做一次系统化对比。CMS适合追求吞吐量且堆大小可控的应用,G1更适合大堆和可预测停顿的场景。两者的核心差异在于:CMS做全量标记清除,G1把堆划分为Region并按价值优先级回收。据Red Hat工程师在《G1 vs CMS: A Comparative Analysis of Java Garbage Collectors》实验数据显示:在堆内存为16GB、业务负载为微服务场景下,G1的平均停顿比CMS低31%,但吞吐率低约7%。
| 对比维度 | CMS | G1 |
|---|---|---|
| 停顿时间 | 并发收集时短,Full GC时很长 | 可配置目标停顿,波动小 |
| 吞吐率 | 较高 | 略低 |
| 内存碎片 | 有碎片问题 | Region级回收缓解碎片 |
| 参数复杂度 | 参数多且敏感 | 参数少容错高 |
第一步是明确Full GC的触发链,区分是阈值问题还是对象增长问题。第二步是校准CMSInitiatingOccupancyFraction,使它略低于Full GC前的历史旧生代水位。第三步是检查驱动和中间件版本,排除已知的内存bug。第四步是优化大对象的分配路径,比如复用byte[]而非频繁新建。第五步是建立Full GC预警机制,通过JMX注册GarbageCollectorMXBean的NotificationListener,当检测到Full GC连续发生三次时自动拉取堆转储。这五个步骤能覆盖绝大多数的CMS Full GC场景,让GC行为从被动救火变成主动管控。
评论
加载中...