A/B测试样本量计算器

A/B测试样本量计算器旨在帮助您在测试启动之前对其进行科学的规划。只需输入基准转化率、您期望检测到的最小可检测效应（MDE）、显著性水平（alpha）以及所需的统计功效，计算器即可为您输出每组以及总计所需的样本量 —— 此外，它还会基于您的每日流量和分流份额自动生成测试持续时间估算、展示功效如何随样本量增长的功效曲线、横向对比不同 MDE 选择成本的敏感性分析表、流量分配可视化图表，以及一个通俗易懂的可行性结论判决。该工具专为转化率 A/B 测试（双比例 z 检验，Cohen 阐述公式）打造，并为多变量测试提供了可选的 Bonferroni 修正支持。

如何使用

1. 输入当前版本（A）在最近一段代表性周期内测得的基准转化率。
2. 设置最小可检测效应（MDE） —— 即能够实质性改变您业务决策的最小提升幅度。您可以在相对百分比和绝对百分点之间快捷切换。
3. 选择显著性水平（alpha） —— 行业默认值通常为 5%（即 95% 置信度）。
4. 选择统计功效 —— 行业默认值通常为 80%；对于高影响力的重大改版发布，建议将其提升至 90%。
5. 选择是采用双尾测试（默认，代表版本 B 在任一方向上与 A 存在差异）还是单尾测试（仅在版本 B 优于 A 时予以认定）。
6. 如果您正在进行包含多个测试版本的多元测试，请设置变体版本数量 —— 计算器将自动为您应用 Bonferroni 修正。
7. 输入页面的每日访客量以及分流进入本实验的流量比例。
8. 点击计算样本量按钮，即可读取每组及总计所需的样本量、预期测试周期、功效曲线、敏感性分析表以及分步数学推导过程。

所用计算公式（双比例功效公式）

本样本量计算器的独特优势

• 提交前的实时动态预览 —— 您的每一次键盘输入都会实时更新每组样本量、总访客量、目标转化率和预计持续时间。
• 具象化的测试周期转化 —— 将抽象的“您需要 31,000 名访客”转化为更接地气的“在 50% 分流下，您的测试需要以每天 4,000 名访客的速度运行 8 天”。
• 带动画的统计功效曲线 —— 直观查看您的目标样本量在功效曲线上的落点，以及如果延长一周的测试时间能够为您换取多少统计功效。
• MDE 敏感性分析对照表 —— 横向对比检测 2%、5%、10%、15%、20% 和 25% 提升幅度所需的样本量成本，帮您在业务敏感度与时间可行性之间找到最完美的平衡点。
• 自由切换相对或绝对 MDE —— 一键切换产品和运营团队在制定提升目标时最常用的两种表述习惯。
• 原生支持带有 Bonferroni 修正的多元测试 —— 完美支持 A/B/C 或 A/B/C/D 等多组测试并提供自动校正；而市面上许多计算器在遇到多版本输入时只会盲目套用简单的 A/B 测试公式。
• 流量分配可视化柱状图 —— 堆叠图清晰展示了测试整体流量是如何在对照组和各个实验变体版本之间进行切分的。
• 通俗易懂的可行性评级 —— 顶部的红/黄/绿横幅会在您正式发布测试前，及时对那些极其耗时的“龟速测试”发出警告。
• 一键加载快捷场景 —— 针对电商、SaaS、邮件营销和移动端安装等行业典型基准提供了便捷的预设参数选项。

如何解读可行性判决横幅

• 绿色 —— 完全可行。 测试可在两周内完成。您拥有充足的流量，可以在所选的置信度下轻松检测到预期的提升幅度。
• 黄色 —— 可以执行。 测试需要耗费两到六周的时间。请务必规划好至少覆盖一个完整的业务周期，并坚决抵制中途窥探数据的冲动。
• 红色 —— 周期漫长。 测试需要超过六周（甚至由于流量不足而无法完成）。时间过长的测试极易受到季节性因素和用户长周期行为漂移的干扰 —— 建议调高您关心的 MDE 目标，或者提高路由到实验中的流量比例。

为什么所需样本量会增长得如此迅猛？

这主要受两个核心数学关系的影响。首先，所需的样本量与 MDE 平方的倒数成正比 —— 这意味着将您期望检测的提升幅度减小一半，所需的访客样本量就会乘以四倍。其次，基准转化率越低，测试成本越高 —— 在 1% 的基准转换率下，要检测相同的相对提升，所需的访客量大约是 5% 基准转化率下的 25 倍。这两个效应重叠在一起，完美解释了为什么即便是高流量的网站，在面对低频转化流程时，也很难在合理时间内测出微小的提升。

A/B 测试规划中的常见大坑

• 把 MDE 设得太小。 这会导致样本量膨胀到您在预期时间内根本无法收集完成的天文数字。请根据能实质改变发布决策的最小改进来选择 MDE —— 而不是凭空盲目遐想。
• 统计功效低于 80%。 一个功效仅为 60% 的测试，有高达 40% 的概率会彻底漏掉一个真实存在的业务改进。行业推断的黄金标准是 80%；千万不要为了让样本量勉强“凑效”而强行调低功效。
• 看到低 p 值就提早收工。 在测试运行中途频繁查看临时结果，并在 p < 0.05 的那一刻立即叫停（数据窥探行为）会使假阳性率急剧飙升。请务必在测试启动前就咬定既定的样本量目标。
• 忽视了多变量测试的额外代价。 一个包含四个版本的 A/B/C/D 测试必须采用经过 Bonferroni 修正的 alpha 值 —— 这通常会让每组所需的样本量达到简单 A/B 测试的 2 到 3 倍。
• 忽略了周末效应。 保证测试至少运行 7 天可以有效平摊和抹平一周内不同日期的流量组合差异；周期过短的测试极易因为工作日与周末的用户心理差异而产生严重偏差。
• 低估了流量切分的损耗。 如果您只允许 50% 的全站流量进入测试，那么平均到每组的每日流量就会减半 —— 这意味着您需要付出两倍的自然日历时间。

显著性水平（Alpha）与统计功效的选择

Alpha 代表假阳性率 —— 即在版本 B 实际上没有任何改进时，测试却误判其胜出的概率。而功效（Power）等于 1 减去假阴性率 —— 即当存在 MDE 规模的真实改进时，测试能够成功将其捕捉并捕获的概率。行业默认设置一般为 alpha = 0.05 且功效 = 0.80。对于试错成本极高的核心高壁垒业务发布，建议使用 alpha = 0.01 和功效 = 0.90。这些严苛的选择会显著收紧测试判据并使所需样本量激增：将 alpha 从 0.05 降低到 0.01 会使样本量接近翻倍；而将功效从 0.80 提升到 0.90 会让样本量再增加约 30%。

相对 MDE 与绝对 MDE 的区别

相对 MDE（基于基准的百分比）是最普遍的定级视角：“我想在当前 5% 的转化率基础上，成功检测出 10% 的相对提升”，这意味着期望的目标值 p₂ = 5.5%。而绝对 MDE（百分点）在业务效益直接以点数衡量时更为适用：“我想在 5% 的基准转化率之上，检测出 +0.5 个百分点的绝对提升”，此时计算出的目标值同样是 p₂ = 5.5%。两者在数学上完全等价 —— 选择哪种表述纯粹取决于您的团队和利益相关者习惯如何定义指标。

多变量测试与 Bonferroni 修正

当您将 K 个变体版本同时与一个对照组进行纵向对比时，您实际上是在并行运行 K − 1 组独立的统计检验。随着对比版本的增加，天真的整体假阳性率会不断累积放大 —— 例如，在 alpha = 0.05 下进行三次独立的比对，实验整体录得至少一次假阳性的概率将高达约 14%，而非 5%。统计学上的经典解决方案是应用 Bonferroni 修正：在计算临界 z 值之前，将您的名义 alpha 除以总的比较组数。当您在本计算器中将版本数量设置为大于 2 时，系统将自动激活并应用此校正。这也解释了为什么多元测试在各变体版本上对流量的消耗要远高于常规的 A/B 测试。

常见问题解答（FAQ）

A/B 测试需要多少样本量？

这取决于四个关键数字：基准转化率、最小可检测效应（MDE）、显著性水平（alpha）和统计功效。例如一个典型的电商测试，基准转化率为 5%，相对提升目标为 10%，显著性水准为 0.05 且功效为 80%，您每个版本大约需要 31,000 名访客。更低的初始基准和更小的 MDE 都会导致所需样本量呈指数级大幅膨胀。

什么是最小可检测效应（MDE）以及如何选择？

MDE 是您希望本次实验能够稳健可靠地捕捉到的最小指标提升幅度。请结合实际的商业回报和财务账目来选定 —— 即至少需要多大的业务改进，才能抵消开发和上线该功能的成本并促使您做出全量发布的决策。通常的建议：高流量的结账和注册主流程可设在相对 5% 到 10% 之间，而流量较低的边缘功能则可设在相对 15% 到 25% 之间。MDE 设得越小，对流量的胃口就越大，因此切忌无章法地调得太低。

我应该使用什么显著性水平和功效？

在日常的产品迭代和互联网营销测试中，Alpha = 0.05（即 95% 置信度）和 80% 功效是约定俗成的行业标准。如果涉及可能重创核心营收的大型策略改版，建议采用 alpha = 0.01 和 90% 功效。收紧任何一个容错指标都会使所需样本量变大 —— 这是一场关于假阳性（α）、假阴性（β）以及测试时间成本之间的严谨权衡。

为什么我的测试每个版本需要这么多元气访客？

主要受制于两大统计学定律。首先，较低的基准转化率天生需要更大的样本量来沉淀出统计显著的转化事件 —— 在 1% 的基准上辨别出微小波动所需的总访客量大约是在 5% 基准下的 25 倍。其次，样本量规模与 MDE 的平方成反比 —— 期望检测的跨度缩小一半，样本量就要翻四倍。您可以尝试放大您真正聚焦的业务 MDE 目标，或者接受更长的长跑测试周期。

该公式是如何推导出来的？

它基于统计学上利用正态近似推导的标准双比例功效计算公式。每组所需的绝对样本量等于：(z_α 乘以零假设下的合并标准差 + z_β 乘以备择假设下的独立标准差) 的平方，再除以两组率差的平方。本计算器在零假设项中采用合并方差（pooled variance），在备择假设项中采用未合并方差 —— 这是统计学教科书中最经典、最稳健的表述方式（源自 Cohen 1988, Fleiss 等人 1980）。

如何处理包含多个版本的多元测试？

当测试包含 K 个实验变体和 1 个对照组时，计算器在推导关键 z 值之前，会严格执行 Bonferroni 修正，将原始 alpha 值除以 (K − 1)。这能有效锁死由于多路比对而导致的假阳性泛滥。其代价是每组分得的所需样本量目标会有所抬升 —— 多元测试在每条支流上占用的流量总数要远超简单 A/B 测试。

我应该运行推荐的天数，还是在达到显著性时就停止？

请严格按照推荐的规划周期完整运行，并且只在达到既定周期后才开箱评估显著性。在测试未完结时，一旦看到 p 值跌破 0.05 就擅自偷跑收工（即“窥探数据”行为），会使您的实际假阳性率远远超标。此处计算出来的样本量是您对抗统计噪声的科学计划 —— 请在发布前坚持这一底线。实验圆满结束后，您可以将累积的真实转化数据灌入配套的“A/B测试显著性计算器”中，来精准读取最终的 p 值和置信区间。

如果我的初始转换率非常低（例如低于 1%）会怎样？

当 np 或 n(1 − p) 的数值较小时，经典的正态近似公式可能会产生轻微的微弱偏差。对于指标极低（如 0.1% 基准）的极限测试，本计算器算出的结果依然具有高度的宏观规划参考价值，但在实际落地时，建议在推荐样本量的基础上额外增加 10% - 15% 的安全缓冲池。另外，在测试结束后的分析阶段，采用费舍尔精确检验（Fisher's exact test）会是更为保守和严谨的裁决选择。