终止条件应当在试验开始前写好,并明确三件事:看哪个指标、看多久、出现什么情况就停。只有试验页在预设窗口内稳定优于对照,且没有触发护栏指标恶化,才进入全站推广;否则先回到试验页继续修改或直接放弃。
拿你手里正在跑的那张试验页,补上四个字段:主指标(例如表单提交率或加购率)、护栏指标(例如页面报错率、跳出率、客服相关投诉量)、观察窗口(例如连续两个完整自然周)、最小可接受差异(例如相对提升不低于某个你事先定下的比例)。这四个字段就是终止条件的骨架。
假设某电商试验页把主指标定为“加入购物车率”,护栏定为“结算页报错率”。如果加购率上升但报错率同时上升,这不算成功,属于触发护栏,应先修问题而不是推广。这一步的动作是:把护栏指标写在主指标旁边,而不是只盯一个好看的数字。
终止不等于失败,它包含三种结局:推广、继续试验、放弃。判断依据不是单点数据,而是方向是否稳定。
这里的关键取舍是:不要用“再等等看”代替终止条件。等待本身也要有上限,例如最多延长一个窗口,到期仍不达标就按放弃处理。
如果试验期间关键前提变了,原来的终止条件可能失效。常见的前提变化包括:流量来源结构改变(例如新增了一个投放渠道)、季节或大促节点到来、页面承接的任务本身被改过。这些变化会让前后数据不可直接比较。
处理办法是分段:把变化前的数据作为一段,变化后的数据重新起算窗口,并重设最小可接受差异。动作是记录变化发生的日期和原因,下一步再决定是继续沿用旧条件还是开一个新试验。如果不分段,你很可能把季节性上涨误判成改动有效。
假设某内容站试验页把“文章页底部推荐位”从三条改成六条,主指标是“下一页点击率”,护栏是“页面停留时长”。设定窗口为两周,最小可接受差异为相对提升一成。第一周点击率上升,第二周回落到与对照持平,同时停留时长下降。按预设条件,这属于未达标且护栏恶化,终止推广,回到试验页减少推荐条数再测。这个例子只说明比较方法,不代表任何真实项目结果。
把终止条件写成一句可被他人复核的话,例如“连续两个完整自然周,主指标相对提升不低于一成,且报错率不高于对照,则推广;否则延长一个窗口或放弃”。然后指定谁在什么时间点检查、数据从哪里取。动作是让第二个人按这句话独立判断一次,如果两人结论不一致,说明条件还太模糊,需要先改条件再推广。推广后仍要保留对照或分批放量,以便发现全站层面的新问题。