线上推荐系统召回排序层延迟优化实战

推荐系统中召回排序层的延迟占据端到端响应时长的40%至60%。通过特征本地缓存、批量拉取、动态batch推理和最小堆合并策略,线上平均延迟从80毫秒降至28毫秒,QPS上限提升45%。优化实例证明,特征拼接环节耗时占比最高,是召回排序延迟治理的首要突破口。

阅读全文