首页/案例库/留存与版本

Maoxuan Product Agent 真实决策案例 07

新版本后留存下降,要不要回滚?

版本上线和留存下降同时发生,不代表一定存在因果。先隔离受影响人群,才能避免错过止损窗口,也避免制造新的发布风险。

场景:D1/D7 下降动作:隔离因果时间:2 小时

真实问题

“新版上线后 D1 留存掉了 8%,同期渠道结构也变了,还有几条客服投诉。现在要不要全量回滚?”

问题判断

先不要直接回滚,除非已经确认留存下降由新版本导致且正在影响核心用户。

当前同时存在版本变化、渠道结构变化和少量反馈。任何一个因素都可能造成总留存下降,必须先判断哪一项在主导结果。

为什么这是核心问题

全量指标会把渠道结构、设备差异和版本影响混在一起。

  • 低留存渠道占比上升,可能在产品行为不变时拉低总体留存。
  • 如果异常只集中在某个设备、系统或灰度版本,局部降级比全量回滚更稳妥。
  • 客服反馈能提示排查方向,但少量个案不能单独证明整体因果。

行动建议

2 小时内给出保留、局部处理和全量回滚三种条件。

  1. 按 cohort 隔离影响

    拆新老用户、渠道、设备、系统、版本和灰度组的 D1/D7 留存,并按旧渠道权重复算总体变化。

  2. 核对直接质量信号

    比较核心路径完成率、崩溃率、接口失败率和投诉主题,确认问题是否与新版本改动一致。

  3. 先止损受影响范围

    明确热修时长与回滚成本;可定位到局部就局部降级,影响广泛且无法热修才全量回滚。

决策条件

根据影响范围、证据强度和修复速度选择动作。

  • 全量回滚:新版本组显著变差,核心路径受损,影响核心用户且无法在可接受时间内热修。
  • 局部降级:问题集中在特定设备、系统、渠道或灰度人群,并且有可靠的定向开关。
  • 保留版本:按渠道结构复算后差异消失,或异常来自埋点、投放人群而非产品行为。
  • 继续灰度:证据仍不足但风险可控,保持旧版对照并补齐关键埋点,暂不扩大流量。

常见问题

留存下降到什么程度需要回滚?

新版本上线后留存下降应该马上回滚吗?
不要只因时间重合就全量回滚。先按渠道、设备、系统、版本和灰度组拆留存,确认下降是否集中在新版本,并核对核心路径、崩溃率和投诉。
什么情况下应该全量回滚版本?
当新版本组的留存与核心任务完成率显著下降、影响核心用户且无法快速热修时,应全量回滚;只影响局部设备或人群时优先局部降级。

把发布与 cohort 数据交给 Agent

先隔离因果,再决定回滚。