# A/B 测试：用数据"做决策"

::: tip 🎯 核心问题
**如何科学地验证产品改动的效果？** 这就像问：新按钮真的更好用吗？还是用户只是因为新鲜感多点了一下？A/B 测试解决的就是"用数据说话"的问题——不是我觉得好，而是数据证明真的好。
:::

---

## 0. 先问一个问题：你有没有经历过这些"伪成功"？

**场景一：被数据骗了**

你改了购物车的结算按钮颜色，从蓝变红。一周后一看数据：点击率提升了 30%！

你很高兴，宣布大获成功。但三周后，点击率悄悄回到了原水平，甚至还不如之前。

**真相**：这是"新奇效应"——用户因为好奇多点了几次，新鲜劲过后就恢复了。

**场景二：假阳性陷阱**

你同时测试了 20 个不同的改进方案。有一个方案显示"统计显著"（p < 0.05），你立即全量上线。

一个月后，用户满意度下降了。

**真相**：同时测试 20 个方案，即使全部无效，也有 64% 的概率至少有一个"显著"（1 - 0.95^20）。你看到的"显著"只是随机波动。

**场景三：辛普森悖论**

你的数据显示：B 版本的转化率（7.3%）高于 A 版本（5.6%）。但拆分数据后却发现：

- 移动端：A 8% > B 6%
- 桌面端：A 4% > B 3%

**每个渠道 A 都更好，但合并后 B 反而赢了**！

**真相**：流量分配不均（移动端占 80% 流量，且更多分配给了 B），导致加权平均后 B 看起来更好。

---

**好的 A/B 测试就像科学的临床试验**——严谨设计、足够样本、长期观察，才能得出可信结论。

---

## 1. 什么是 A/B 测试？

**A/B 测试**是一种对比实验方法：将用户随机分成两组，分别体验不同版本，比较关键指标（如转化率、点击率）的差异，从而判断哪个版本更优。

### 1.1 用医学试验来类比

| 医学试验 | A/B 测试 | 说明 |
| :--- | :--- | :--- |
| 对照组（安慰剂） | A组（对照组） | 使用当前版本，作为基准 |
| 实验组（新药） | B组（实验组） | 使用新版本，验证效果 |
| 治愈率 | 转化率 | 衡量是否"成功"的指标 |
| 统计显著性 | 统计显著性 | 结果是否可信 |

**关键原则**：除了版本不同，其他所有条件必须相同（随机分配、同时运行、相同用户群）。

### 1.2 A/B 测试的完整流程

```
1. 提出假设
   ↓
2. 设计实验（确定指标、样本量）
   ↓
3. 开发并部署实验
   ↓
4. 运行实验（收集数据）
   ↓
5. 分析结果（统计检验）
   ↓
6. 做出决策（全量/放弃/迭代）
```

---

## 2. A/B 测试的核心价值

### 2.1 避免"拍脑袋决策"

没有 A/B 测试时，决策往往依赖：

- **HiPPO**（Highest Paid Person's Opinion）：最高领导说了算
- **设计直觉**：设计师觉得这样更好看
- **模仿竞品**：竞争对手这么做，我们也这么做

**问题**：这些方法都忽略了真实的用户行为。

### 2.2 降低风险

上线前不知道用户会不会买账？先小范围测试，用 1% 流量验证，避免全量上线后造成损失。

### 2.3 持续优化

通过不断的小实验，积累小的提升，最终实现显著增长。这就是"增长黑客"的核心方法。

---

## 3. 实验设计：对照组与实验组

### 3.1 随机分配的重要性

**正确的做法**：每个用户有 50% 概率进入 A 组，50% 概率进入 B 组

**错误的做法**：
- 前半天所有用户进 A 组，后半天进 B 组（时间差异）
- 移动端用户进 A 组，桌面端进 B 组（设备差异）
- 新用户进 A 组，老用户进 B 组（用户类型差异）

**为什么随机很重要？**

只有随机分配，才能保证两组用户在其他所有方面都相似（年龄、设备、使用习惯等），这样才能公平比较。

### 3.2 流量分配演示

👇 **动手试试看**：点击下方按钮，观察流量如何随机分配到两组：

<ABTestingDemo />

::: tip 💡 50/50 分配是最优的
虽然有 30/70 或 20/80 的分配策略，但 50/50 能最快检测出差异。除非你对新版本极度不放心，否则不推荐使用非对称分配。
:::

---

## 4. 样本量计算：需要多少用户才够？

### 4.1 为什么不能"看着办"？

样本量太小 → 统计功效不足，即使有真实差异也检测不出来（假阴性）
样本量太大 → 浪费资源，运行时间过长

**正确做法**：实验前计算所需样本量。

### 4.2 影响样本量的四个因素

| 因素 | 影响 | 典型值 |
| :--- | :--- | :--- |
| **基准转化率** | 越高，所需样本越少 | 2% - 10% |
| **最小检测提升** | 越小，所需样本越多 | 相对提升 5% - 20% |
| **显著性水平 (α)** | 越小，所需样本越多 | 0.05 (95%置信度) |
| **统计功效 (1-β)** | 越大，所需样本越多 | 0.8 (80%功效) |

**直觉理解**：
- 你想检测的差异越小（比如只提升 5%），就需要更多样本才能"看清"
- 你想要的结果越确定（比如 99% 置信度 vs 95%），就需要更多证据

### 4.3 样本量计算公式

对于比例指标（转化率），简化的样本量公式为：

```
n = (Zα + Zβ)² × [p1(1-p1) + p2(1-p2)] / (p2 - p1)²
```

其中：
- `n` = 每组所需样本量
- `Zα` = 显著性水平对应的 Z 值（α=0.05 时，Zα=1.96）
- `Zβ` = 统计功效对应的 Z 值（80%功效时，Zβ=0.84）
- `p1` = 基准转化率
- `p2` = 目标转化率 = p1 × (1 + 相对提升)

### 4.4 样本量计算示例

**场景**：购物车结算按钮，当前转化率 5%，希望检测 20% 的相对提升（即 6%）。

- `p1` = 5% = 0.05
- `p2` = 6% = 0.06
- `Zα` = 1.96 (α=0.05)
- `Zβ` = 0.84 (80%功效)

```
n = (1.96 + 0.84)² × [0.05×0.95 + 0.06×0.94] / (0.06 - 0.05)²
n ≈ 6,932
```

**每组需要 6,932 个样本，两组共需 13,864 个样本**。

如果每天有 5,000 个访客，大约需要 **3 天**才能达到足够样本量。

::: tip 💡 在线计算工具
- [Evan Miller 的样本量计算器](https://www.evanmiller.org/ab-testing/sample-size.html) - 业界标准
- [Optimizely 的样本量计算器](https://www.optimizely.com/sample-size-calculator/)
:::

---

## 5. 统计显著性：如何判断结果"可信"？

### 5.1 P 值是什么？

**P 值**：如果两个版本真的没有差异（零假设为真），观察到当前数据（或更极端数据）的概率。

**通俗理解**：P 值越小，说明"纯属巧合"的可能性越小。

**常用阈值**：
- `p < 0.05`：统计显著，有 95% 的信心说差异不是随机的
- `p < 0.01`：高度显著，有 99% 的信心
- `p ≥ 0.05`：不显著，差异可能是随机波动

### 5.2 置信区间

**置信区间**：真实差异可能落入的范围。

示例：
- 相对提升：+15%
- 95% 置信区间：[+5%, +25%]

**解读**：我们有 95% 的信心认为，真实提升在 5% 到 25% 之间。

::: warning ⚠️ 常见误解
置信区间不是"有 95% 的概率在这个区间内"，而是"如果我们重复实验 100 次，95 次的区间会包含真实值"。

对于单次实验，真实值要么在区间内，要么不在。但我们不知道是哪种情况。
:::

### 5.3 A/B 组结果对比演示

👇 **动手试试看**：调整转化率和样本量，观察统计显著性的变化：

<ABTestingDemo />

**关键观察**：
1. **相对提升越大**，P 值越小（越容易显著）
2. **样本量越大**，P 值越小（越容易显著）
3. **转化率越低**，需要更大样本量才能达到相同显著性

---

## 6. A/B 测试的常见误区

### 6.1 过早停止实验（Peeking 问题）

**问题**：看到结果"显著"就立即停止实验，不再继续观察。

**真相**：P 值会随着数据积累而波动。你看到的"显著"可能只是暂时的随机波动。

**Airbnb 的真实案例**：
- 第 7 天：p = 0.05，结果显著，B 版本领先
- 第 14 天：p = 0.15，不再显著
- 第 30 天：p = 0.42，完全中性

如果第 7 天就停止，就会得出错误的结论。

**解决方案**：
- 实验前计算所需样本量，达到后才能分析
- 使用序贯检验（Sequential Testing），预设"窥探"点和调整后的显著性阈值

### 6.2 辛普森悖论

**问题**：分组看 B 更差，但合并后 B 反而更好（或相反）。

**根本原因**：混淆变量（Confounding Variable）分布不均。

**示例**：
```
移动端（占 80% 流量）：
- A 组：8% 转化率（分配了 40% 流量）
- B 组：6% 转化率（分配了 40% 流量）

桌面端（占 20% 流量）：
- A 组：4% 转化率（分配了 10% 流量）
- B 组：3% 转化率（分配了 10% 流量）

合并数据：
- A 组：(8%×0.4 + 4%×0.1) / 0.5 = 7.2%
- B 组：(6%×0.4 + 3%×0.1) / 0.5 = 5.4%

但如果是这样分配：
移动端：A 组 40% 流量，B 组 40% 流量
桌面端：A 组 0% 流量，B 组 20% 流量（不平衡！）

合并数据：
- A 组：(8%×0.4) / 0.4 = 8%
- B 组：(6%×0.4 + 3%×0.2) / 0.6 = 5%
但如果不加权，直接平均：A=5.6%, B=7.3%（B 反而赢了！）
```

**解决方案**：
- 确保随机化正确，每个子群体流量分配一致
- 按关键维度（设备、流量来源、用户类型）分别分析
- 使用 A/A 测试验证随机化是否有效

### 6.3 P-hacking（P 值操纵）

**问题**：通过尝试不同方法，直到找到"显著"结果。

**常见形式**：
- **子群挖掘**：主指标不显著，就按年龄、地区、设备细分，宣称某个子群显著
- **选择性报告**：同时测了 10 个指标，只报告显著的 1 个
- **延长实验**：看到 p = 0.06，就再跑几天，"看看能不能降到 0.05 以下"

**问题**：这些都会大幅增加假阳性率。

**解决方案**：
- 预先注册假设和指标，实验过程中不改变
- 同时测试多个指标时，使用 Bonferroni 校正或 FDR（False Discovery Rate）控制
- 严格控制"窥探"次数

### 6.4 新奇效应

**问题**：用户因好奇点击新功能，导致短期数据虚高。

**示例**：
- 新按钮上线首周：点击率 +30%
- 第二周：+15%
- 第三周：+5%
- 第四周：0%（甚至 -2%，新鲜感过后，用户发现并不好用）

**解决方案**：
- 至少运行 2 个完整业务周期（通常 2-4 周）
- 观察趋势是否稳定，而不是只看绝对值
- 对长期指标（如用户留存）的重视度高于短期指标（如点击率）

### 6.5 统计功效不足

**问题**：样本量太小，即使有真实差异也检测不出来（假阴性）。

**示例**：预期提升 5%，但只跑了 1,000 个样本，结果显示"不显著"，你就放弃了。

实际上，如果检测 5% 的提升，需要约 30,000 样本才能达到 80% 功效。

**解决方案**：
- 实验前必须计算样本量
- 如果资源有限，可以考虑：
  - 提高最小检测提升（比如从 5% 改为 10%）
  - 降低统计功效（从 80% 降到 70%，但会增加假阴性风险）
  - 延长测试时间

---

## 7. 实战案例

### 7.1 案例 1：按钮颜色测试

**背景**：电商网站购物车结算按钮，当前为蓝色，想测试红色是否能提升转化率。

**实验设计**：
- 假设：红色按钮更醒目，能提升转化率 10%
- 指标：结算按钮点击率（点击次数 / 访问次数）
- 基准转化率：5%
- 目标转化率：5.5%（相对提升 10%）
- 所需样本量：每组约 30,000（使用在线计算器）
- 流量分配：50/50
- 显著性水平：α = 0.05
- 统计功效：80%

**结果**：
- 运行 7 天后达到所需样本量
- A 组（蓝）：5.02%
- B 组（红）：5.15%
- 相对提升：+2.6%
- P 值：0.23（不显著）
- 95% 置信区间：[-1.7%, +6.9%]

**决策**：结果不显著，无法确认红色按钮更好。考虑到：
1. 转化率提升很小（即使真实，也只有 2.6%）
2. 置信区间包含 0（甚至包含负值）
3. 红色按钮可能影响品牌一致性

**最终决定**：保持蓝色按钮，尝试其他优化方向（如按钮文案、大小、位置）。

---

### 7.2 案例 2：注册流程简化

**背景**：SaaS 产品注册流程需要填写 10 个字段，想测试减少到 5 个字段是否能提升注册率。

**实验设计**：
- 假设：字段更少 → 注册率更高
- 指标：注册完成率（完成注册数 / 开始注册数）
- 基准转化率：25%
- 目标转化率：30%（相对提升 20%）
- 所需样本量：每组约 2,000
- 流量分配：50/50

**结果**：
- A 组（10 字段）：24.8%
- B 组（5 字段）：31.2%
- 相对提升：+25.8%
- P 值：< 0.001（高度显著）
- 95% 置信区间：[+18.2%, +33.4%]

**决策**：结果高度显著，全量上线 5 字段版本。

**后续跟踪**：
- 新用户注册率提升了 25.8%
- 用户质量（后续付费率）没有下降
- 用户反馈"注册很快很方便"

---

### 7.3 案例 3：推荐算法优化

**背景**：视频网站推荐算法，想测试新的协同过滤算法是否能提升用户观看时长。

**实验设计**：
- 假设：新算法推荐更精准 → 观看时长更长
- 指标：人均每日观看时长（分钟）
- 基准：45 分钟/天
- 目标：提升 5% → 47.25 分钟/天
- 所需样本量：每组约 10,000 用户
- 运行时间：至少 4 周（覆盖完整用户行为周期）

**结果（4 周后）**：
- A 组（旧算法）：45.2 分钟/天
- B 组（新算法）：46.8 分钟/天
- 相对提升：+3.5%
- P 值：0.07（接近显著，但未达到 0.05 阈值）
- 95% 置信区间：[-0.2%, +7.2%]

**决策**：
1. 统计不显著，但趋势积极（P 值接近 0.05）
2. 置信区间下限接近 0（-0.2%），风险很小
3. 新算法成本增加不大（服务器资源 +5%）

**最终决定**：谨慎全量上线，但：
- 持续监控关键指标
- 准备快速回滚方案
- 一个月后重新评估

**一个月后**：
- 观看时长提升稳定在 +4%
- 用户留存率无显著变化
- 服务器成本增加可接受

结论：实验成功。

---

## 8. 用 AI 辅助 A/B 测试设计

AI 可以帮助你快速设计实验、计算样本量、分析结果。关键在于提供清晰的上下文。

### 8.1 提示词模板：样本量计算

```
你是一位资深的 A/B 测试专家。请帮我计算实验所需的样本量。

## 业务背景
[描述你的业务场景，例如：电商网站、SaaS 产品、移动 App]

## 当前指标
- 关键指标：[转化率/留存率/点击率等]
- 当前数值：[基准值，如 5%]
- 指标类型：[比例指标/均值指标]

## 实验设计
- 预期相对提升：[如 10%，即从 5% 提升到 5.5%]
- 显著性水平 (α)：0.05 (95% 置信度)
- 统计功效 (1-β)：0.8 (80%)
- 流量分配：50/50

## 请求
1. 计算每组所需样本量
2. 假设每天有 [X] 个访问用户，估算需要运行多少天
3. 给出实验设计建议
```

### 8.2 提示词模板：结果分析

```
你是一位资深的 A/B 测试专家。请帮我分析实验结果。

## 实验结果
- A 组（对照组）：
  - 样本量：10,000
  - 转化数：500
  - 转化率：5.0%

- B 组（实验组）：
  - 样本量：10,000
  - 转化数：550
  - 转化率：5.5%

## 请求
1. 计算相对提升（百分比）
2. 计算 Z 值和 P 值
3. 计算 95% 置信区间
4. 判断是否统计显著（α = 0.05）
5. 给出决策建议（全量/放弃/继续观察）
6. 指出实验可能存在的偏倚或问题
```

### 8.3 提示词模板：常见问题诊断

```
你是一位资深的 A/B 测试专家。我的实验遇到了问题，请帮我诊断。

## 问题描述
[描述你遇到的问题，例如：
- 运行两周后 P 值仍在 0.5 左右，完全不显著
- A 组和 B 组数据差异很大，完全不像随机分配
- 第 3 天结果显示显著，但第 7 天又不显著了]

## 实验信息
- 指标：[转化率等]
- 基准值：[如 5%]
- 预期提升：[如 10%]
- 流量分配：[50/50]
- 运行天数：[如 7 天]
- 总样本量：[如 5,000]

## 请求
1. 分析可能的原因
2. 提供诊断建议
3. 给出解决方案
```

::: tip 💡 追问技巧
- "请用通俗语言解释什么是 P 值"
- "我的置信区间包含 0，这意味着什么？"
- "如何判断是否存在辛普森悖论？"
- "什么情况下可以使用非 50/50 的流量分配？"
:::

---

## 名词速查表

| 名词 | 英文 | 解释 |
| :--- | :--- | :--- |
| **A/B 测试** | A/B Testing | 对比实验，随机分配用户到不同版本，比较指标差异 |
| **对照组** | Control Group | 使用当前版本的组（A 组），作为基准 |
| **实验组** | Treatment Group | 使用新版本的组（B 组），验证效果 |
| **转化率** | Conversion Rate | 完成目标行为的用户占比（如购买、注册） |
| **零假设** | Null Hypothesis | 假设两组没有差异的起点，目标是"推翻"它 |
| **P 值** | P-value | 如果零假设为真，观察到当前数据的概率 |
| **统计显著性** | Statistical Significance | P 值 < 0.05，结果不太可能是随机的 |
| **置信区间** | Confidence Interval | 真实差异可能落入的范围（如 95% CI） |
| **统计功效** | Statistical Power | 检测到真实效应的概率（1-β），通常 80% |
| **第一类错误** | Type I Error | 假阳性（说有差异，实际没有），α 控制 |
| **第二类错误** | Type II Error | 假阴性（说没差异，实际有），β 控制 |
| **显著性水平** | Significance Level | 容忍第一类错误的概率，通常 α = 0.05 |
| **效应量** | Effect Size | 差异的大小（相对提升多少），不只是是否显著 |
| **样本量** | Sample Size | 每组需要的用户数，需提前计算 |
| **随机分配** | Random Assignment | 每个用户有相同概率进入任一组 |
| **单尾检验** | One-tailed Test | 只检验"更好"（不关心"更差"） |
| **双尾检验** | Two-tailed Test | 检验"有差异"（更好或更差都算） |
| **辛普森悖论** | Simpson's Paradox | 分组看趋势一致，合并后趋势相反 |
| **P-hacking** | P-hacking | 操纵数据或方法以获得显著结果 |
| **新奇效应** | Novelty Effect | 用户因好奇产生的短期行为变化 |
| **序贯检验** | Sequential Testing | 预设多个检查点，动态调整显著性阈值 |

---

## 参考资源

### 在线工具
- [Evan Miller - A/B 测试样本量计算器](https://www.evanmiller.org/ab-testing/sample-size.html)
- [Optimizely - 样本量计算器](https://www.optimizely.com/sample-size-calculator/)
- [AB TestGuide - 统计显著性计算器](https://abtestguide.com/calc/)

### 经典文章
- [ Airbnb 的实验设计实践](https://medium.com/airbnb-engineering/experimentation-at-airbnb-acquiring-trust-confidence-through-exploratory-data-analysis-9304de556269)
- [Netflix 的 A/B 测试指南](https://netflixtechblog.com/its-all-a-bout-testing-the-netflix-experimentation-platform-4e1ca458c55)
- [Google 的 A/B 测试最佳实践](https://experimentation.com/)

### 书籍推荐
- 《Trustworthy Online Controlled Experiments》- Ron Kohavi 等
- 《Designing Experiments》- Geoffrey Keppel

### 相关文章
- [A/B Testing Pitfalls - Simpson's Paradox, P-hacking, Early Stopping](https://blog.example.com/ab-testing-pitfalls)
- [Sample Size Calculation for A/B Testing](https://www.evanmiller.org/ab-testing/sample-size.html)