A/B:稳定分组与业务效果验收
验证:未记录
- 适用版本
- 未记录
- 验证范围
- 尚未登记验证记录。
本文缩写(英文全称与中文含义)
| 缩写 | 英文全称/名称 | 中文含义 |
|---|---|---|
| ID | Identifier | 标识符 |
前置:可信人群路由。A/B 关注转化率等业务效果;Canary 关注可靠性,两者不能互相代替。实验不得随机改变价格/权限等敏感业务规则而缺少产品审批与审计。
1. 固定实验契约#
建立 Git 配置:实验 checkout-v2-2026-09、按租户分组、候选占比 10%、负责人、结束日期、曝光/转化事件和退出条件。以已认证 tenant_id为输入,使用 功能开关分桶实现;实验名和密钥在实验期间不变。匿名用户使用服务端签名的稳定标识,不能每次请求随机。
2. 接入路由#
认证服务将分桶结果写入 x-release-cohort: experiment-b;复制人群路由,将匹配值 internal 改为 experiment-b 后 apply。其余保持 stable。按共享基线执行服务器端 dry-run、Route 状态检查和实际版本验证。
用至少两个预生产租户保存分组结果;重登、重启身份服务、跨副本请求,组别必须稳定。同租户下用户不得落入不同组导致数据语义冲突。权重变化会改变部分租户组别,正式统计窗口内冻结分组,或持久化首次分配。
3. 采集与结束#
应用记录去重曝光事件 {experiment, variant, exposure_id};只有确实看到新流程才算曝光。转化事件关联 exposure_id,使用仓库分析脱敏 ID,避免把每个用户放到 Prometheus label。按事先约定样本量/观察周期分析,检查样本比例偏差、机器人和重复事件;不能看到一次上涨就结束。
技术门禁仍执行 python3 gate.py,并检查退款/投诉等护栏。出现严重业务退化立即恢复 route-stable.yaml;保留实验数据供分析,不自动删除业务记录。胜出后统一默认路径,删除实验路由和开关,避免永久分叉。