检索精排模型的效果上限由训练数据质量决定,而大多数精排效果不佳的线上案例,根源都出在训练数据的构造环节而非模型结构本身。基于对多个推荐与搜索场景的精排系统复盘,本文总结出训练数据构造中最容易踩中的三个陷阱,并给出对应的排查与修正方法。这三个陷阱分别是:截断偏差导致的样本选择偏差、负样本构造过于简单导致的判别力不足,以及特征穿越导致的离线指标虚高。
检索精排的训练样本来源于粗排或召回产出的候选集合,但这个候选集合本身是经过截断的。截断偏差是指精排只能看到被上游选中的那些物品,而真正被上游淘汰的物品在训练数据中完全不存在,这导致精排模型学习到的分布与全量物品分布存在系统性偏差。
实践中常见的问题是:粗排截断位为200,那么第201名的优质物品永远无法进入精排训练样本,精排模型无法学会识别这类本该被提升的物品。据Meta《Recommender Systems Challenge 2023 Technical Report》数据显示,截断位从500收缩到100时,精排模型的AUC平均下降2.1个百分点,NDCG@10下降3.4个百分点,这一降幅在不同业务场景中表现稳定。
缓解截断偏差的策略分为两类。第一类是扩大粗排截断位,让更多物品进入训练样本,但代价是粗排与精排的计算量同步上升。第二类是构造校正样本,将随机采样的一部分粗排截断位之外的物品注入训练集,并给它们标记较低的点击概率作为先验,让精排模型在训练阶段就能感知到截断边界之外的物品分布。
def build_train_samples(rank_list, truncate_limit, sample_ratio=0.05):
in_list_samples = [item for item in rank_list[:truncate_limit]]
outside_items = sample(rank_list[truncate_limit:], ratio=sample_ratio)
for item in outside_items:
item.label = 0.0
item.is_correction_sample = True
return in_list_samples + outside_items校正样本的采样比例需要根据业务容忍度调参,过高会压低正样本权重,过低则偏差仍然存在。建议从0.02起步逐步上调,观察精排在验证集上的长尾效果变化。
检索精排模型的负样本如果全部取自随机曝光未点击,模型只需要学会区分相关与不相关,却无法学会区分不同相关程度之间的细微差异。真正的精排场景中,进入候选集的物品大多与用户意图存在一定相关性,负样本应当聚焦在难负样本上。
简单负样本带来的问题是模型的排序能力停滞在粗排水平。实际线上表现通常是:精排输出的排序结果与粗排高度一致,精排并未发挥应有的二次排序作用。一个直接有效的修正方法是在负样本池中混入一定比例的粗排高分但用户未交互的物品,这类样本与正样本的特征分布更为接近,能够迫使模型学习更加细粒度的决策边界。
按照公开的工程实践基线,难负样本与简单负样本的混合比例建议控制在3:7到5:5之间。阿里妈妈技术团队在《展示广告精排模型实践》中描述,引入粗排难负样本后,精排模型的GAUC提升达到0.8个百分点,线上CTR提升2.6%。难负样本需要额外的去重机制,防止与正样本存在同一物品的重复出现造成标签冲突。
特征穿越是检索精排中隐蔽且危害最大的数据错误。特征穿越指的是训练样本中的特征包含了标签时刻之后才产生的信息,例如使用物品的全量点击率作为特征,而该点击率统计窗口覆盖了样本标注时间点之后的数据。这种信息泄露让离线训练时的特征具有极强的预测能力,但线上推理时无法获得同样的未来信息,效果自然大幅劣化。
离线AUC虚高但线上无提升甚至负向,是特征穿越的典型信号。排查时需要对每个特征标注其时间窗口口径,并逐一核对该窗口截止时间是否不晚于样本标签的产生时间。以用户行为序列特征为例,如果序列中包含了点击目标物品之后的行为,那么该特征已经穿越。
def validate_feature_timeline(feature, label_time, feature_window_end):
if feature_window_end > label_time:
raise ValueError(
f"Feature {feature.name} has leakage: window end {feature_window_end} "
f"is later than label time {label_time}"
)另一种常被忽视的穿越是用户侧统计特征的时间窗口滚动方式。在离线训练中如果使用全量历史窗口,而线上只使用截至请求时刻的窗口,两边的数据分布同样不一致。正确的做法是训练和推理使用完全一致的特征计算逻辑,包括窗口长度、聚合函数与时间锚点。
针对检索精排训练数据质量,可以建立三项可量化的体检指标,在模型训练之前先做数据层检查,比训练后看指标更节省时间成本。第一项是正负样本区分度,计算正样本与随机负样本在核心特征分布上的KL散度,散度过低说明负样本过于简单或者特征区分度不足。
第二项是时间一致性校验,随机抽取样本,检查每个样本的特征窗口截止时间是否全部不晚于标签时间,出现穿越则报错并阻止训练。第三项是截断覆盖度,统计训练样本中来自截断位置附近的样本占比,该比例过低意味着模型对候选集边界的感知极弱。
下面给出一个检索精排数据评估的速查对比:
| 检查维度 | 具体方法 | 通过标准 | 未通过的处置 |
|---|---|---|---|
| 正负样本区分度 | 计算核心特征的KL散度 | KL散度位于0.3到2.0之间 | 调整负样本采样策略 |
| 时间一致性 | 遍历特征时间窗口与标签时间 | 所有特征窗口截止时间早于标签时间 | 修复特征管线或剔除该特征 |
| 截断覆盖度 | 统计截断位附近样本占比 | 占比不低于5% | 向训练集注入校正样本 |
这三项体检应当在每次训练数据版本更新时自动执行,并记录历史波动曲线。数据质量的退化往往是渐进式的,等模型效果出现明显下滑时再排查,已经损失了一段时间的线上收益。
检索精排的训练样本空间必须与线上推理时的输入空间保持一致,这是样本构造中最容易被忽视的基本原则。如果离线训练时精排样本来自粗排结果集,而线上精排偶尔会因为粗排变更或召回波动而接收到分布不同的输入,模型在线上就会遇到训练时从未见过的特征组合。
一个有效策略是在训练数据中模拟线上的样本分布扰动。具体操作是对输入精排的候选物品特征做随机遮挡或添加高斯噪声,让模型对特征缺失和轻微扰动具备鲁棒性。据Google Research《Robust Recommendations via Adversarial Training》中的相关实验,对特征做5%的随机mask后,模型在分布偏移场景下的AUC衰减幅度降低了12.7%。
样本空间对齐还需要关注精排与粗排间的分数联动。如果粗排分数作为精排特征输入,而离线训练时粗排分数来自历史模型,线上则来自当前模型,两者的分布差异会直接传导至精排模型。解决方式是在训练样本中同时记录粗排分数的版本信息,或者定期用当前粗排模型重新生成训练样本中的粗排分数。
检索精排的每一次效果提升都应该先从数据构造层面找机会,模型结构优化是最后一步。数据质量决定了精排模型能力的上限,模型结构只是逼近这个上限的手段。
检索精排的长期迭代中,训练数据质量始终是最高杠杆的优化点。截断偏差、简单负样本和特征穿越这三类问题不会自动消失,每次特征体系或上游召回变更后都需要重新检查。与其追求更复杂的模型结构,不如先把训练数据的构造逻辑打磨到无懈可击,这是检索精排稳定收益的根本保障。
据Microsoft《Search Ranking System Design at Scale》报告显示,在同等模型结构下,训练数据质量对齐后的精排系统相比未对齐版本,整体NDCG提升可达到5.9个百分点。检索精排的调优路径并不神秘,数据管线中的细节决定最终效果落地的程度。
评论
加载中...