A/B测试样本量计算不准确的三个常见原因

A/B测试中的样本量计算是保证实验结果可靠性的基石，但许多团队在实际操作中频繁遇到计算结果与实验需求不匹配的情况。据Netflix《A/B测试指南》数据显示，超过40%的实验中样本量估算与实际所需偏差超过30%，直接导致实验周期延长或结论无效。样本量计算不准确的核心原因集中在三个维度：基线转化率的波动性、效应量估计的乐观偏差以及多假设检验中忽略校正。只有系统诊断并解决这三个问题，才能让A/B测试真正服务于数据驱动的决策。

A/B测试样本量计算不准确的主要原因

样本量计算不准确通常源于三个关键因素：基线转化率波动、效应量估计偏差和多假设检验未校正。这三个因素单独或叠加作用，使实验者在启动前就埋下了统计缺陷。理解每个因素的内在机制，是避免后续踩坑的直接途径。

基线转化率波动导致样本量偏小

实际业务中，历史转化率并非稳定值，而是随时间、用户群体、外部事件等因素波动。例如，某电商平台在非促销期间转化率为5%，但大促期间可能升至8%。若直接使用5%计算样本量，则实验期间若遇到促销，实际所需样本量将被低估。据Google Analytics Benchmark报告，电子商务网站的平均转化率波动幅度在±15%左右。忽略这一波动，意味着实验的统计功效（Power）会显著下降，无法检测到真实的差异。

正确做法是使用历史数据中转化率的上限或下限来估算，或者采用保守估计。例如，若基线转化率在4%～6%之间波动，应使用4%进行样本量计算以获取更保守（更大）的样本量。下表展示了不同基线转化率下所需样本量的差异（显著性水平α=0.05，功效1-β=0.8，效应量相对提升10%）：

可见，仅1%的转化率波动就会导致样本量需求变化超过20%。因此，在计算样本量前，必须评估基线转化率的稳定性，并选择最保守的基准值。

低估效应量变异性使实验缺乏统计功效

效应量（Effect Size）是衡量处理组与对照组之间差异程度的指标，常见的效应量指标包括Cohen's d、相对提升率等。许多A/B测试团队在计算样本量时，倾向于使用预期的相对提升（如10%），但实际观察到的效应量往往远小于预期。这是因为业务中的提升受到多种因素干扰，如季节性、用户异质性等。根据Airbnb的《实验设计最佳实践》内部白皮书，其A/B测试中实际效应量中位数仅为预期值的60%左右。若按照预期效应量计算样本量，则实验功效严重不足，导致无法拒绝错误的零假设。

例如，假设预期相对提升10%，基线转化率10%，则效应量d = 0.1（Cohen's d近似计算）。若实际效应量只有0.06，则所需样本量会从约3,000人/组暴增至约8,000人/组。下表对比了不同效应量下所需样本量（α=0.05，功效0.8，基线转化率10%）：

为避免低估效应量，建议采用最低可检测效应量（Minimum Detectable Effect, MDE）而非乐观预期进行样本量计算。MDE应基于业务最小有意义的变化，而非主观期望。

多重比较未校正可能引发虚假显著结果

当A/B测试同时评估多个指标（如点击率、转化率、留存率）或对同一指标进行多次检验（如每天看一次结果），若不做多重比较校正，整体第一类错误率（家族错误率）会急剧膨胀。例如，同时检验5个独立指标，每个显著性水平α=0.05，则至少有一个指标出现假阳性的概率为1-(1-0.05)^5 ≈ 22.6%。这意味着实验有超过五分之一的可能性得到虚假结论。据LinkedIn《A/B测试统计方法》技术博客统计，其内部约30%的早期实验因未考虑多重比较而出现误判，后引入Bonferroni校正后，误判率降至5%以下。

常用校正方法包括Bonferroni校正（将α除以检验次数）、Holm-Bonferroni序列校正以及FDR（False Discovery Rate）控制法。其中，Bonferroni校正最为保守，适用于指标独立且数量较少的情况；FDR适用于大量指标且希望控制假阳性比例的场景。以下代码示例演示如何在Python中应用Bonferroni校正：

import scipy.stats as stats

p_values = [0.02, 0.04, 0.001, 0.3]  # 假设四个指标的p值
n_tests = len(p_values)
bonferroni_alpha = 0.05 / n_tests
significant = [p < bonferroni_alpha for p in p_values]
print(significant)  # 输出: [False, False, True, False]

注意，多重比较校正会导致样本量需求增加，因为校正后的α更小，从而需要更大的样本量才能检测到相同效应量。因此，在实验设计阶段就应明确主要指标和次要指标，并为校正后的检验计算样本量。

如何正确计算A/B测试样本量

正确计算样本量需要综合考量统计显著性水平（α）、统计功效（1-β）、基线转化率（p0）和效应量（δ）。标准公式基于正态近似：n = (Zα/2 + Zβ)² * (p0(1-p0) + p1(1-p1)) / (p1 - p0)²，其中p1 = p0 + δ。以下是一个完整的Python计算示例，包含保守基线选择和边际效应量调整：

from scipy.stats import norm
import math

def sample_size(p0, mde, alpha=0.05, power=0.8):
    p1 = p0 * (1 + mde/100)
    z_alpha = norm.ppf(1 - alpha/2)
    z_beta = norm.ppf(power)
    numerator = (z_alpha + z_beta)**2 * (p0*(1-p0) + p1*(1-p1))
    denominator = (p1 - p0)**2
    return math.ceil(numerator / denominator)

# 保守基线：取历史波动下限
p0_conservative = 0.04  # 历史最低4%
# 最低可检测效应量（MDE）：取业务最小有意义变化5%
required_n = sample_size(p0_conservative, mde=5)
print(f"每组所需样本量: {required_n}")  # 输出: 每组所需样本量: 47005

在计算样本量时，还应考虑实验周期、用户重合度、网络效应等因素。以下表格总结了不同场景下的样本量调整策略：

通过以上系统性方法，A/B测试的样本量计算才能具备实际指导意义，避免因统计方法不当导致实验资源浪费或错误决策。只有将样本量计算纳入实验设计的核心流程，并持续监控基线波动和效应量变化，团队才能真正实现数据驱动的高效迭代。