likun.pm

背景

本来想着所有的AB相关的都写在上一个博文，但是实在太长了那个，最近服务器不稳定，为了隔离开，特此开新的博客文章，专门写一个，如何开发一个AB测试平台。

上一篇其实更多的是理论基础，这一篇就偏向具体实战。

具体需求

1、整体框架 （点击此处看大图）

2 具体设计

原型见：https://oy3z1e.axshare.com ，因为不是专业做这个，只是调研，所以实现都比较简单。

分流模型 （点击此处查看大图）

剩下的两部分，业务跟用户部分，就不用写了，是业务方相关了。

3 补充说明

这篇文章写完，对AB测试的研究部分就算结束了，当然依然存在着一些疑问跟具体实践过程中的问题。有一些问题有了答案，有一些问题还没有。我会继续更新记录到这个文章里面。

一些感想：

目前国内很多的AB测试平台，主要有4个问题：

1. 1）因为分流模型的原因，只能同时在线少量的实验

2. 2）很多的实验分流有问题，导致数据结果不置信。

3. 3）数据讨论不够，很多实验的增幅因果性不清晰

4. 4）埋点！！！数据埋点大量的不对，这是非常重要的一个原因

头条的AB平台叫libra，做的比较好。而且感觉在某些时候，比google的要好，比如：同一层并不使用同一个对照组，这样实验可以反转。头条的实验方法有一些也比较奇怪，比如又有预时期（记得叫空跑），有时候对照组跟实验组都分别开两个实验组。

好了，啰嗦到这里，下面整理问题，随时更新。

问题1：不同的分流函数最后有什么差异

答案：按照谷歌的论文，差异就是测试出来，不同的分流方法，需要的流量大小不一样，才能得到同样的置信度。

问题2：概率论里面的置信度，到底怎么算

答案：科普 https://wenku.baidu.com/view/a5698563783e0912a2162a42.html