L4-01：A/B测试科学实验 —— 假设框架 + 样本量计算 + 统计显著性 + ICE优先级

🎯 学什么：学会把"试试看"变成"因为我观察到X，所以我相信改成Y会得到Z"——用强假设框架替代弱假设、用样本量计算避免小流量测不出结果的尴尬、用统计显著性防止Peeking问题导致的假阳性、用ICE评分法给实验排优先级。核心洞察：A/B测试的目的不只是"找出哪个版本更好"——真正的价值在于每一次实验都能提炼出一条可复用的用户洞察，失败和成功一样有价值。 💡 难易度：⭐⭐⭐ | ⏱️ 预计时间：50 分钟

---

1. 课程概览

💡 白话小课堂：这个 Skill 就像一个科学实验室——你见过两个人争论"红色按钮好还是蓝色按钮好"，谁也说服不了谁，最后老板一拍桌子："就用红的！"那就是"拍脑袋决策"。而A/B测试就是那个说"等等，我们同时给50%的人看红的、50%的人看蓝的，让数据告诉我们答案"的人。它的核心不是"测一下哪个好"，而是建立一套"假设→实验→结论→洞察"的科学决策循环——每一次实验无论输赢，都让你更了解你的用户。

本课的独特定位——科学实验型 Skill：

🔑 核心秘诀：弱假设就像"我随便改改看"，强假设就像"我发现门上贴的推/拉标签太小老有人推错，所以我把标签放大三倍，我认为推错门的人数会减少80%"。后者失败了也能学到东西——至少知道了"标签大小不是问题"。A/B测试真正的价值不在于赢了几个实验，而在于每一次实验都能提炼出一条关于你用户的洞察。

⚠️ 避坑指南：如果你的网站每天只有1000个访客，检测1%基线的20%提升需要780天。所以小流量网站不应该拿"统计显著性"当借口原地不动——要么测更大的变化（比如把注册流程从5步改成1步），要么就大方承认"我们没有足够的流量做严谨的A/B测试，用定性研究+常识做决策"。

来源：Corey Haines marketingskills（coreyhaines31/marketingskills --skill ab-test-setup）

---

2. 假设驱动框架详解

2.1 弱假设 vs 强假设

A/B测试的起点不是"测什么"，而是"为什么测"。假设的质量决定了实验能带来的洞察深度。

❌ 弱假设："把按钮颜色改一下，看看会不会增加点击。"
  → 没有推理链：为什么是按钮颜色？为什么你觉得改了会更好？
  → 无法从结果中学到任何东西
  → 赢了不知道为什么赢，输了不知道为什么输

✅ 强假设：
  "因为热力图和用户反馈显示用户找不到CTA，
   我们相信放大按钮并用对比色，
   会让新访客的CTA点击率提升15%+。
   我们会测量从页面浏览到注册开始的点击率。"
  → 有观察数据支撑（热力图+用户反馈）
  → 有具体的改动（放大+对比色）
  → 有可量化的预期（15%+）
  → 有明确的测量方式

2.2 强假设的五要素模板

假设框架：
  Because [observation/data],          ← 观察/数据基础
  we believe [change]                  ← 具体的改动
  will cause [expected outcome]        ← 预期结果（量化）
  for [audience].                      ← 目标受众
  We'll know this is true when [metrics]. ← 验证指标

完整示例：
  "因为结算页流失数据显示'不知道运费'是排名第一的退出原因（观察），
   我们相信在购物车页面增加一个实时运费估算器（改动），
   会让进入结算页→完成支付的转化率提升10%以上（预期结果），
   针对所有将商品加入购物车的用户（受众）。
   我们会测量购物车→结算→支付完成的完整漏斗（验证指标）。"

2.3 为什么强假设"输了也有价值"

场景：强假设的实验结果是不显著/负面的

弱假设失败 → 什么也没学到：
  "红色按钮和蓝色按钮效果一样"
  → 所以呢？用户到底在乎什么？不知道。

强假设失败 → 学到了一条用户洞察：
  "我们以为用户找不到CTA是按钮不够大（假设），
   但放大后点击率没变（结果）。
   说明用户不是'找不到'，而是'不想点'。
   下一步应该测试：CTA的文案（利益点是否打动用户）还是
   CTA的位置（在用户更有可能被说服的地方出现）？"
  → 排除了一条错误路径，聚焦到更可能的真正原因

---

3. 样本量与实验设计

3.1 为什么样本量最重要

A/B测试最尴尬的不是"测出来没效果"，而是"流量太小，根本测不出效果"。启动实验之前先算样本量——不然跑了两个月发现数据量不够判断，白白浪费时间。

样本量取决于四个参数：
  1. Baseline Conversion Rate（基线转化率）：当前版本的表现
  2. Minimum Detectable Effect / MDE（最小可检测效应）：你想检测多大的提升
  3. Confidence Level（置信度）：通常 95%
  4. Statistical Power（统计功效）：通常 80%

关键关系：
  → 基线越低 → 需要更多样本（检测1%→2%比检测10%→11%需要更多样本）
  → MDE越小 → 需要更多样本（检测5%提升比检测20%提升需要更多样本）
  → 为什么？因为"噪音"相对于"信号"的比例不同。基线低时，随机波动本身就大。

3.2 样本量速查表

95% 置信度 + 80% 统计功效下，每个变体需要的样本量：

基线 5% 时：
  检测 10% 相对提升（5%→5.5%）→ 约 27,000 人/变体
  检测 20% 相对提升（5%→6.0%）→ 约 7,000 人/变体
  检测 50% 相对提升（5%→7.5%）→ 约 1,200 人/变体

基线 10% 时：
  检测 10% 相对提升（10%→11%）→ 约 15,000 人/变体
  检测 20% 相对提升（10%→12%）→ 约 3,800 人/变体
  检测 50% 相对提升（10%→15%）→ 约 700 人/变体

基线 20% 时：
  检测 10% 相对提升（20%→22%）→ 约 8,000 人/变体
  检测 20% 相对提升（20%→24%）→ 约 2,000 人/变体

实用结论：
  → 小流量网站（<5,000 访客/天）检测微小的提升（5-10%）是不现实的
  → 要么测大改动（>20% 预期提升），要么放弃A/B测试改用定性研究

3.3 小流量网站的务实策略

如果你的日活用户 < 5,000，有三条路：

策略A: 测更大的变化
  → 不测"按钮颜色从蓝变绿"，测"把注册流程从5步改成1步"
  → MDE 设高一些（20-30%），样本量需求会降到可行范围

策略B: 用定性研究代替
  → 用户访谈 + 可用性测试 + 热力图分析
  → 不能做统计推断，但可以形成有依据的判断

策略C: 大方承认
  → "我们没有足够的流量做严谨A/B测试"
  → 不要拿"统计不显著"当借口什么都不做
  → 用常识+定性数据做决策，上线后再观察趋势

---

4. 统计显著性与Peeking问题

4.1 核心概念

P值（p-value）：
  → 定义：假设两个版本效果一样（零假设），观察到当前差异（或更大差异）的概率
  → p < 0.05 = 如果两个版本真的一样，只有不到5%的概率会看到这么大的差异
  → 所以我们可以比较有信心地说"两个版本不一样"

置信度（Confidence Level）：
  → 通常设 95%
  → 意味着有 5% 的"假阳性"风险——即实际上两个版本一样，但数据让你误判为有差异

统计功效（Statistical Power）：
  → 通常设 80%
  → 定义：如果两个版本真的有差异，能检测出来的概率
  → 80% 功效 = 如果真的有差异，有80%的概率能测出来，20%的概率错过（假阴性）

置信区间（Confidence Interval）：
  → 例如："转化率提升 15% ± 3%（95% CI）"
  → 意味着我们95%确信真实提升在 12% 到 18% 之间
  → 置信区间越窄 → 估计越精确 → 需要更多样本

4.2 Peeking问题——最致命的实验纪律

定义：在达到预定样本量之前，反复查看实验结果并据此决定是否提前停止。

为什么危险？
  → 数据在早期波动极大。前100个访客转化了5个=5%，后100个转化了2个=2%。
  → 如果你在某个"刚好看起来好"的时刻偷看并提前停止，你就是在选取"运气好"的数据点。
  → 这个行为会系统性地抬高假阳性率。

偷看一次 → 假阳性率从5%升至约8%
偷看多次 → 假阳性率可能到20-30%

偷看就像烧开水每30秒掀一次锅盖：
  → 每次掀开都放掉热气，本来5分钟能烧开的变成15分钟
  → 更糟的是，如果你在"刚好水开了"的那一刻掀开盖子说"看！我一掀开水就开了！"
  → 你在选对你有利的时间点做判断——这是自我欺骗

正确做法：
  → 实验开始前就确定好样本量和运行时间
  → 预承诺不中途偷看
  → 如果必须中途检查（如护栏指标异常），只看护栏指标不看主指标
  → 使用序贯分析（Sequential Testing）方法的工具可以安全地提前停止

4.3 单变量原则

为什么"每次只测一个变量"是铁律？

如果你同时改了按钮颜色、文案、位置：
  → 测出来点击率提升20%
  → 是颜色起作用了？文案？位置？还是三者组合？
  → 你完全不知道 → 无法提取可复用的洞察

正确做法：
  → 第一轮：只测按钮颜色（红 vs 蓝）
  → 找到赢的颜色后，第二轮：在这个颜色下测不同的文案
  → 每一轮只改变一个变量

例外：多变量测试（MVT, Multivariate Testing）
  → 同时测试多个变量及其交互效应
  → 需要比A/B测试大得多的样本量
  → 适合高流量网站（日活 > 50,000）
  → 能检测出"交互效应"（颜色和文案的特定组合效果远超各自单独效果之和）

---

5. ICE优先级评分与实验管理

5.1 为什么需要优先级排序

当你有了10个实验想法，但你只能同时跑2-3个——先跑哪个？ICE评分法帮你把直觉量化，让最有潜力的实验先跑。

ICE评分法（每个维度 1-10 分，取平均值）：

I = Impact（影响力）
  → 如果这个实验赢了，对核心指标的影响有多大？
  → 1 = 提升微不足道（按钮颜色微调）
  → 10 = 改变游戏规则（注册流程从5步变1步）
  → 问自己："如果这个实验赢了，能移动北极星指标多少？"

C = Confidence（信心）
  → 你有多大的信心这个实验会赢？
  → 1 = 纯猜测（"我觉得红色应该比蓝色好"）
  → 10 = 有大量数据支撑（"12条用户访谈都说这里困惑+热力图确认+竞品最佳实践"）
  → ⚠️ Confidence维度是ICE中最容易被误用的
  → "我觉得"≠"我确定"——必须有数据支撑才能打高分
  → "竞品都这么做了"打8分 ❌ | "基于用户访谈+热力图数据"打8分 ✅

E = Ease（容易度）
  → 实现这个实验需要多少工程资源？
  → 1 = 需要后端重构，耗时4周
  → 10 = 改一行CSS，10分钟搞定
  → 逆向思考：不是"实现难度"，而是"实现容易度"

ICE Score = (I + C + E) / 3
  排序：先跑高分的，低分的进入"想法库"等待

5.2 实验健康度指标

胜率（Win Rate）：
  → 健康区间：20-30%
  → 胜率100% → 假设太保守，只测"肯定能赢"的东西
    → 没有测试真正有风险但有巨大潜力的假设
  → 胜率<5% → 假设质量差或随机乱试

实验速度（Experiment Velocity）：
  → 每月能跑多少个实验？
  → 速度本身就是一个竞争优势——跑得越快，学得越快
  → 瓶颈通常不在创意，而在工程实现（Ease维度）

实验手册（Experiment Handbook）：
  → 记录每一个实验的完整生命周期：
    假设 → 设计 → 样本量 → 运行时间 → 结果 → 洞察 → 后续行动
  → 全团队可见——避免同一个人反复测同样的东西
  → 新人可以从手册中快速学习"我们试过什么，学到了什么"

5.3 护栏指标

主指标（Primary Metric）：
  → 你希望改动的那个数字，如"CTA点击率"

辅助指标（Secondary Metrics）：
  → 帮助你理解"为什么"的数字，如"页面停留时间""滚动深度"

护栏指标（Guardrail Metrics）：
  → 必须不能变坏的数字
  → 例如：你测试了一个更激进的弹窗来提升邮件注册
    → 主指标：邮件注册率 → 提升了 30% ✅
    → 护栏指标：退款率 → 也提升了 25% ❌
  → 说明这个弹窗在"诱骗"用户注册 → 虽然主指标提升，但业务被伤害了
  → 叫停实验。

典型护栏指标：
  → 退款率、客诉率、卸载率、页面加载时间
  → 关键原则：主指标提升不能以护栏指标恶化为代价

---

6. 结构拆解：科学实验型 Skill 模板

什么时候用科学实验型？ → 当需要验证任何产品假设、对比两个版本的效果、建立数据驱动的决策文化时——不只是AB测试按钮颜色，任何"做了X会产生Y效果吗"的问题都可以套用这个框架。

与 L3-17（广告创意测试）的关系：两者都是科学实验型，核心循环相同（假设→实验→洞察→迭代）。区别在于：L3-17 的测试对象是广告创意（八角度框架），L4-01 的测试对象是产品内的任何元素（按钮、流程、定价、页面布局）。L4-01 多了样本量计算和统计显著性两个硬核维度。

测试层级参考：

第一层：测"有没有问题"（A/B测试：旧 vs 新）
第二层：测"哪个方案更好"（A/B/N测试：多版本对比）
第三层：测"为什么更好"（分解到具体变量，逐个验证）
第四层：测"交互效应"（MVT：多变量同时测试）

---

7. 电商案例：女装商品详情页首屏图片A/B测试

🛒 实战案例：某天猫女装店铺，主推一款¥299的夏季连衣裙，日均详情页访客12,000人，但加购转化率仅4.8%。运营怀疑首屏展示图是瓶颈——目前默认展示模特上身图，但客户评论中反复出现"实物跟模特身上不一样""看不出面料质感"。团队假设：平铺细节图（展示面料纹理+尺码对比）比模特图更打消顾虑。

ICE评分排序：

实验设计（第一名"首屏图片方案"）：

实验结果与洞察：

• 加购转化率 4.8% → 6.1%，提升27.1%（p<0.001，高度显著）
• 退款率从3.2%降至2.1%（实物与图片更一致，退货减少）
• 平均页面停留时长从28秒增至47秒（用户在看面料细节）
• 核心洞察：用户不是"不缺这条裙子"，而是"不确定收到的货会是什么样"。平铺细节图用视觉证据替代了"信不信由你"的模特精修图——消除信息不对称比美化产品更有效。下一步实验：将该策略扩展到店铺TOP50爆款的详情页首屏。

---

8. 掌握检验

Q1：以下哪一项属于"强假设"而非"弱假设"？

• A) "把按钮颜色改一下，看看会不会增加点击。"
• B) "因为热力图显示用户找不到CTA，我们相信放大按钮并用对比色，会让新访客的CTA点击率提升15%+。我们会测量从页面浏览到注册开始的点击率。"
• C) "测一下红色按钮和蓝色按钮哪个好。"
• D) "这次改版应该能提升转化率。"

Q2：在A/B测试中，为什么"每次测试单个变量"是最重要的原则之一？如果同时改了按钮颜色、文案和位置，测出点击率提升20%，你能得出什么结论？

Q3：在95%置信度、80%统计功效下，基线转化率5%、检测10%相对提升，每个变体大约需要多少样本量？

• A) 约 1,200 人
• B) 约 7,000 人
• C) 约 27,000 人
• D) 约 47,000 人

Q4：什么是"Peeking问题"？如果在达到预定样本量之前多次偷看结果并提前停止，假阳性率可能从5%升高到多少？

Q5：ICE评分中，Confidence（信心）维度最容易被误用。以下哪种做法是正确的？

• A) "我觉得用户会喜欢这个改动"给Confidence打9分
• B) "竞品都这么做了"给Confidence打8分
• C) "基于12条用户访谈+热力图数据，用户的确在这个区域有困惑"给Confidence打8分
• D) "老板说要做这个"给Confidence打10分

Q6：成熟实验项目的健康胜率区间是多少？为什么胜率100%反而说明有问题？

Q7：请为以下场景设计一个完整的强假设（用Because...we believe...will cause...for...we'll know...格式）： 你在运营一个电商App，用户调研显示"不知道运费是多少"是结算页流失的最大原因。你打算在购物车页面增加一个"运费估算器"。

Q8：以下哪个是"护栏指标"的典型例子？

• A) 加购率（主指标）
• B) 页面停留时间（辅助指标）
• C) 退款率（护栏指标——防止伤害）
• D) 日活用户数（主指标）

---

9. 答案

点击查看答案

Q1：B — 这是一个强假设，包含了观察数据（热力图显示用户找不到CTA）、具体变更（放大按钮+对比色）、预期结果（CTA点击率提升15%）、受众（新访客）和测量指标（页面浏览到注册开始的点击率）。A、C、D都是弱假设，缺少推理链和具体测量方法。

Q2：参考答案 — 如果同时改了三个变量，你完全不知道提升是由哪个因素驱动的——颜色？文案？还是位置？无法提取可复用的洞察。结论是零。每次只测一个变量，才能建立清晰的因果关系。如果必须测多变量，应该用多变量测试（MVT）方法，但这需要更大的样本量和对交互效应的理解。

Q3：C — 约 27,000 人/变体。从样本量速查表：基线5%、检测10%相对提升、95%置信度+80%功效 = 约27k/变体。

Q4：参考答案 — Peeking问题指在达到预定样本量之前反复查看实验结果并据此决定是否提前停止。偷看一次，假阳性率从5%升至约8%；偷看多次，假阳性率可能到20-30%。正确做法是预先承诺样本量和运行时间，相信过程，不中途偷看。

Q5：C — 基于具体数据（用户访谈+热力图）的Confidence评分才是可靠的。A、B、D都基于主观感受或他人意见，不应给高分。

Q6：参考答案 — 健康胜率区间是20-30%。胜率100%说明假设太保守——你只在测"肯定能提升"的东西（比如"把按钮做大"），没有测试真正有风险但有巨大潜力的假设。胜率过低（<5%）说明假设质量差或随机乱试。

Q7：参考答案 — "因为结算页流失数据显示'不知道运费'是排名第一的退出原因，我们相信在购物车页面增加一个实时运费估算器，会让进入结算页→完成支付的转化率提升10%以上。我们会测量购物车→结算→支付完成的完整漏斗。"

Q8：C — 退款率是护栏指标，它确保A/B测试没有在别处造成伤害。即使主指标（如加购率）提升了，如果退款率也同步上升，说明这个改动可能在"诱骗"用户，需要叫停。

评分：答对 6/8 = 通过。

---

10. 延伸阅读

• [[L4-02-数据分析追踪|下一课：数据分析追踪]] — 给网站装上360度无死角监控
• [[L3-10-SEO审计|L3-10：SEO 审计]] — 回顾分层审计模式
• [[L3-17-广告创意优化|L3-17：广告创意测试]] — 同为科学实验型，对比测试对象差异