为什么L1正则化能稀疏化而L2正则化不能

正则化是机器学习中控制模型复杂度的核心手段，其中最常用的是L1与L2正则化。L1正则化能将模型权重推向精确的零值，从而产生稀疏解，而L2正则化只会将权重压缩到接近零但不等于零，这是两者最本质的区别。这一差异源自两者惩罚项的数学形式：L1对权重绝对值求和，在零点处不可导，优化过程天然倾向于将权重置零；L2对权重平方求和，在零点处可导且梯度线性递减，权重只会被缩小而不会精确为零。

L1与L2正则化的数学本质差异

L1正则化向目标函数添加权重绝对值之和（即 λ∑|w_i|），而L2正则化添加权重平方和（即 λ∑w_i^2）。从梯度角度观察，L1的梯度是常数符号函数，无论权重值多小，每次更新都会施加一个固定大小的推力，直至权重被推至零；L2的梯度则是权重值的线性函数，当权重值减小时，梯度同步缩小，越接近零推力越弱，因此难以精确到达零，只会在零点附近震荡。

几何视角更直观：在参数空间中，L1约束条件对应一个菱形（或超立方体的截面），L2对应球形。最优解是损失函数等高线与约束区域边界的切点，等高线更容易与菱形顶点（坐标为0）相碰，而与球面边界相切时的坐标通常非零。此论述与吴恩达在Stanford CS229课程中的几何解释一致：菱形顶点带来的强稀疏诱导使L1成为特征选择的天然工具，而球形边界则让L2只做权重衰减。

稀疏性对模型实践的具体影响

稀疏性带来的第一个直接受益是特征选择的自动化。当L1把某些特征的权重压缩为精确零值，这些特征从模型中彻底剔除；而L2的权重虽然极小但非零，所有特征仍保留贡献，只降低其影响幅度。以线性回归为例，设特征数p=1000，L1正则化可能将其中800多个权重置零，模型自动筛选出核心特征；L2则让所有1000个权重都非零，模型仍然需要存储全部参数。

稀疏性对推理性能的影响同样关键。在限制AI服务延迟的在线场景中，稀疏模型在预测时不必计算零权重对应的特征项，直接跳过这些维度即可，显著降低每次推断的乘法运算量。权重的零值还使得模型易于压缩，稀疏矩阵可以用紧凑的存储格式如CSR或COO表示，在移动端或嵌入式设备上能节省大量内存和电量。稀疏性的价值已经过实证：据Adam Coates在百度硅谷AI实验室的公开技术报告《Demystifying Sparse Training》显示，将全连接层稀疏化至90%以上后，模型在ImageNet分类任务上可缩减约75%的参数量，并且精度损失控制在2%以内。

正则化强度λ的选取如何权衡偏差与方差

正则化强度λ控制着模型在欠拟合与过拟合之间的平衡点。λ过小，正则化约束力弱，模型容易记住训练数据中的噪声，权重偏高，方差大；λ过大，模型被强制压缩向零，只能拟合过于简单的模式，偏差增大。偏差-方差分解理论给出定性的结论：总误差由偏差平方、方差与不可约噪声构成，λ升高时偏差单调上升而方差单调下降，最优λ位于两者交点的最低总误差处。

实践中常用交叉验证来定位最优λ。将训练集划分为K折，对每个候选λ在K个子集上分别训练并验证，取平均验证误差最小的λ作为最终选择。具体操作时λ的搜索通常用对数刻度（如0.0001, 0.001, 0.01, 0.1, 1, 10），因为正则化强度对模型容量的影响呈指数级变化。一个值得注意的规则是：当数据量较小时，应适当增大λ以强化约束，减少过拟合空间；但当特征维度极高且大部分特征含噪声时，L1配合适中的λ往往表现优于L2。这一选择逻辑基于特征有效信号的密度：稀疏高维数据中真正的信号维度比例低，L1能迅速锁定少数有效特征。

从优化求解看为什么L1在工程上更麻烦

L1正则化在零点处不可导，因此标准的梯度下降方法需要改用次梯度或近端梯度法（Proximal Gradient），工程实现复杂度明显高于L2。次梯度在零点可能不唯一，导致收敛路径不稳定，而近端梯度法通过软阈值操作（soft-thresholding）显式地施加稀疏性：每一步先按常规梯度更新，再对权重做收缩截断，将绝对值小于阈值的分量直接置零。

L2正则化在工程上是更简单的选择，因为它只需在梯度更新时额外添加一个λw项即可，几乎不增加代码复杂度，也不影响梯度下降的收敛性。这种简单性使得L2被广泛应用于各类深度学习框架的基础优化器（如SGD、Adam）的权重衰减实现中。实际训练时若将Adam与L2配合，需要将L2惩罚从梯度中拆出并交给Adam更新，否则会因Adam的自适应学习率破坏L2的衰减强度；而L1配合Adam等自适应优化器时，次梯度计算容易受到自适应学习率的干扰，需要专门处理。这些工程细节都说明，在选型时不能只考虑理论效果，还要评估团队对优化算法实现的掌控程度。

L1与L2在深度学习与经典模型中的适用场景

深度学习中L2正则化比L1常见得多，因为深层次网络的权重偏好小而无害的分布，L2能稳定训练并获得更好的泛化表现。L1在深度学习中的应用集中于结构化稀疏剪枝，比如对卷积核施加Group Lasso（L1的变体）将整组权重置零，从而剪除冗余的通道或滤波器，这种通道剪枝技术已经在MobileNet、EfficientNet等轻量级网络的压缩流程中被普遍采用。经典统计模型中，L1对应LASSO回归，L2对应岭回归，两者的结合（Elastic Net）在2005年由Zou和Hastie提出后成为高维数据建模的默认选择，实际效果比单独使用更稳健。

一个真实的场景对比可以说明取舍：在推荐系统中，用户特征维度可能达到几百万，使用L1正则化将不活跃的用户ID权重置为零，模型只保存活跃用户的嵌入，内存可压缩数倍；而L2只能让这些ID的权重变小但仍保留，随着用户量增长存储开销线性增加。相反，在图像分类任务中，特征图是稠密的像素值，稀疏化意义不大，L2能有效控制权重大小，配合BatchNorm使用效果更稳定。选择L1或L2的关键判断依据是特征的有效性密度：特征稀疏且有效性低时优先L1，特征稠密且均有效时优先L2。

在实际工程中，我倾向于采用Elastic Net同时获得两方面的优势。Elastic Net的损失函数包含L1和L2的加权和，具备L1的稀疏选择能力以及L2的组效应（相似的变量被同选同弃），兼顾了稀疏性和平滑性。鉴于其稳定性和实现成熟度，在没有强烈理由必须只使用单一正则化时，Elastic Net往往优于单独挑选L1或L2。