真实问题
“A/B Test 显示新版按钮点击率高 12%,但下单率没变,要不要全量?”
问题判断
暂时不要全量,新版只证明了更多点击,没有证明更多订单。
按钮更显眼可能提高点击,但业务真正需要的是购买结果。下单率不变说明核心阻塞仍在点击之后。
为什么这是核心问题
入口优化和转化优化不是同一件事。
- 点击增加可能只是视觉注意力变化,不代表购买意愿增强。
- 点击后没有更多订单,阻塞可能在价格、信任、库存、权益或支付流程。
- 贸然全量会增加无效点击、客服咨询和后链路负担,却没有业务收益。
行动建议
把实验继续拆到点击后的关键漏斗。
确认实验完整性
核对样本量、随机分流、实验周期、显著性和版本污染,避免先在实验质量上出错。
拆四个后链路指标
比较商品页停留、加购、支付发起和支付成功,定位新版流量在哪一步失去。
下一轮只测试最大阻塞
如果用户停在商品页,优先测试价格、保障信息或首单权益;如果停在支付,再处理支付摩擦。
全量条件
主指标改善、护栏稳定,才有资格全量。
- 可以全量:下单或支付成功显著提升,退款、投诉、页面性能等护栏没有恶化。
- 继续实验:点击率提升但后链路无变化,把新版保留为入口素材,下一轮测试真正阻塞。
- 立即停止:订单价值下降、退款上升、误点击明显增加,或实验存在分流污染。
常见问题
实验指标该如何决定全量?
- A/B Test 点击率显著上涨就可以全量吗?
- 不一定。全量标准应由主业务指标和护栏指标决定。点击率上涨但订单不涨,只证明入口更显眼,没有证明用户价值或收入提升。
- 点击率上涨但转化率不变应该查什么?
- 继续拆点击后的商品页停留、加购、支付发起和支付成功,并检查价格、信任、库存、权益和支付流程。