本来想着所有的AB相关的都写在上一个博文,但是实在太长了那个,最近服务器不稳定,为了隔离开,特此开新的博客文章,专门写一个,如何开发一个AB测试平台。
上一篇其实更多的是理论基础,这一篇就偏向具体实战。
原型见:https://oy3z1e.axshare.com ,因为不是专业做这个,只是调研,所以实现都比较简单。
分流模型 (点击此处查看大图)
剩下的两部分,业务跟用户部分,就不用写了,是业务方相关了。
这篇文章写完,对AB测试的研究部分就算结束了,当然依然存在着一些疑问跟具体实践过程中的问题。有一些问题有了答案,有一些问题还没有。我会继续更新记录到这个文章里面。
一些感想:
目前国内很多的AB测试平台,主要有4个问题:
1)因为分流模型的原因,只能同时在线少量的实验
2)很多的实验分流有问题,导致数据结果不置信。
3)数据讨论不够,很多实验的增幅因果性不清晰
4)埋点!!!数据埋点大量的不对,这是非常重要的一个原因
头条的AB平台叫libra,做的比较好。而且感觉在某些时候,比google的要好,比如:同一层并不使用同一个对照组,这样实验可以反转。头条的实验方法有一些也比较奇怪,比如又有预时期(记得叫空跑),有时候对照组跟实验组都分别开两个实验组。
好了,啰嗦到这里,下面整理问题,随时更新。
问题1:不同的分流函数最后有什么差异
答案:按照谷歌的论文,差异就是测试出来,不同的分流方法,需要的流量大小不一样,才能得到同样的置信度。
问题2:概率论里面的置信度,到底怎么算
答案:科普 https://wenku.baidu.com/view/a5698563783e0912a2162a42.html