真实问题
“新版上线后 D1 留存掉了 8%,同期渠道结构也变了,还有几条客服投诉。现在要不要全量回滚?”
问题判断
先不要直接回滚,除非已经确认留存下降由新版本导致且正在影响核心用户。
当前同时存在版本变化、渠道结构变化和少量反馈。任何一个因素都可能造成总留存下降,必须先判断哪一项在主导结果。
为什么这是核心问题
全量指标会把渠道结构、设备差异和版本影响混在一起。
- 低留存渠道占比上升,可能在产品行为不变时拉低总体留存。
- 如果异常只集中在某个设备、系统或灰度版本,局部降级比全量回滚更稳妥。
- 客服反馈能提示排查方向,但少量个案不能单独证明整体因果。
行动建议
2 小时内给出保留、局部处理和全量回滚三种条件。
按 cohort 隔离影响
拆新老用户、渠道、设备、系统、版本和灰度组的 D1/D7 留存,并按旧渠道权重复算总体变化。
核对直接质量信号
比较核心路径完成率、崩溃率、接口失败率和投诉主题,确认问题是否与新版本改动一致。
先止损受影响范围
明确热修时长与回滚成本;可定位到局部就局部降级,影响广泛且无法热修才全量回滚。
决策条件
根据影响范围、证据强度和修复速度选择动作。
- 全量回滚:新版本组显著变差,核心路径受损,影响核心用户且无法在可接受时间内热修。
- 局部降级:问题集中在特定设备、系统、渠道或灰度人群,并且有可靠的定向开关。
- 保留版本:按渠道结构复算后差异消失,或异常来自埋点、投放人群而非产品行为。
- 继续灰度:证据仍不足但风险可控,保持旧版对照并补齐关键埋点,暂不扩大流量。
常见问题
留存下降到什么程度需要回滚?
- 新版本上线后留存下降应该马上回滚吗?
- 不要只因时间重合就全量回滚。先按渠道、设备、系统、版本和灰度组拆留存,确认下降是否集中在新版本,并核对核心路径、崩溃率和投诉。
- 什么情况下应该全量回滚版本?
- 当新版本组的留存与核心任务完成率显著下降、影响核心用户且无法快速热修时,应全量回滚;只影响局部设备或人群时优先局部降级。