由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Statistics版 - 谈谈实际工作中如何用AB test的吧?小女斗胆地抛砖引玉一下
相关主题
菜鸟请问treatment在control/mutant的作用用什么test[合集] 请教一个percentile的问题 (SAS)
菜鸟请问ANOVA问题100个人测身高
在工业界,a/b testing vs multivariate testing分析有什么不一样呢?统计外行就Bonferroni correction问题求教统计高手
R help!!!SAS 如何实现excel solver的功能
MCMC算法的Posterior Std. 一定是减少的么?请教:一个总体的两个独立组取样后,总体的方差怎么求?
一般如何证明MCMC算法得到的sample是来自targeted distribution的呢?请教survival analysis里面的sample size问题
请教一个实际工作中和weight,quality score的问题请教一下混合样本分布的问题?(追问一个beta分布的问题)
spearman's rank correlation 问题请教请教 怎么计算一组平均数之和的方差
相关话题的讨论汇总
话题: test话题: control话题: ab话题: visitors话题: pc
进入Statistics版参与讨论
1 (共1页)
p****e
发帖数: 165
1
在工作中经常会遇到做产品的AB test (or split test)来比较不同的结果,我准备用z
-test进行比较,H0设为Control, A,B,C组没有差别,以下为数据:
说明一下,要比较的内容为conversion rate (转化为注册用户的访客数量/访客数量)
,Control为原始网页设计,Test A/B/C分别为不同的测试网页
Treatment | # of Visitors | # of Registered Visitors | Conversion Rate |
Z-
score
Control | 182 | 35 | 19.23%| N/A
Test A | 180 | 45 | 25.00%| 1.33
Test B | 189 | 28 | 14.81%| -1.13
Test C | 188 | 61 | 32.45%| 2.94
Z-score = (Pa-Pc)/square root of [Pa(1-Pa)/Na + Pc(1-Pc)/Nc] (文本不知道怎
么输入数学公式,大家见附件中的截图吧)
这个例子就是Test C比control,A,B都好,所以可以采纳Test C.
我现在的问题是:
1)还有没有其他在日常工作中实用的AB test方法? 要split test同时进行的,排除时
间因素。
2)如果t-test检验出好几个测试组都显著好于control组,是不是取ratio结果最大的
那个?但是如果样本容量不一样也可以这样比吗?(和第3问有联系)
3)第2问牵扯到另一个小问题:AB test是不是要控制每组的traffic差不多呢?如果工
程师不能控制每组一样多,就是像如下的网页访客量# of visitors差别很大,那用什
么方法看A/B/C中哪一个比Control group好呢?
Treatment | # of Visitors | # of Registered Visitors | Conversion Rate
Control | 2182 | 235 | 10.76%|
Test A | 1180 | 145 | 12.20%|
Test B | 11189 | 328 | 3.81%|
Test C | 5125 | 261 | 5.10%|
大家看我打的这么辛苦,也来说说你们怎么用统计方法进行有效的AB test的,以及给
我上面方法一些建议。欢迎拍砖,共同学习。谢谢!
i****e
发帖数: 46
2
用 Z test, 你的 H0为Control,和 A/B/C组没有差别 和 2×2 table chi-square test
结果应该是很接近的。H0设为Control, A,B,C组没有差别, 用4×2 table chi-
square test。

用t

【在 p****e 的大作中提到】
: 在工作中经常会遇到做产品的AB test (or split test)来比较不同的结果,我准备用z
: -test进行比较,H0设为Control, A,B,C组没有差别,以下为数据:
: 说明一下,要比较的内容为conversion rate (转化为注册用户的访客数量/访客数量)
: ,Control为原始网页设计,Test A/B/C分别为不同的测试网页
: Treatment | # of Visitors | # of Registered Visitors | Conversion Rate |
: Z-
: score
: Control | 182 | 35 | 19.23%| N/A
: Test A | 180 | 45 | 25.00%| 1.33
: Test B | 189 | 28 | 14.81%| -1.13

t*********o
发帖数: 143
3
请问用Z-score的原理是什么 - Z test?
Z-score = (Pa-Pc)/square root of [Pa(1-Pa)/Na + Pc(1-Pc)/Nc]
如果Na, Nc比较小,是不是应该用t-test?
p****e
发帖数: 165
4
也是参考别人的例子的,自己正在plan我工作中要用的AB test方法,看到一个blog
http://sixrevisions.com/user-interface/an-introduction-to-website-split-testing/
写了这个z-score的方法,就放过来问一下大家意见。实际工作中N是很大的,不会像这
个例子中为180左右。

【在 t*********o 的大作中提到】
: 请问用Z-score的原理是什么 - Z test?
: Z-score = (Pa-Pc)/square root of [Pa(1-Pa)/Na + Pc(1-Pc)/Nc]
: 如果Na, Nc比较小,是不是应该用t-test?

p****e
发帖数: 165
5
你说是chi-square test?
我以前有用过简单的chi-square test,但觉得不适合我这个例子
我的对比对象是连续数(conversion rate),分不了组,treatment是可以分4组,可那4
*2那个2指什么呢?
谢谢赐教~

test

【在 i****e 的大作中提到】
: 用 Z test, 你的 H0为Control,和 A/B/C组没有差别 和 2×2 table chi-square test
: 结果应该是很接近的。H0设为Control, A,B,C组没有差别, 用4×2 table chi-
: square test。
:
: 用t

a****u
发帖数: 95
6

那4
2 is for registered and non-registered

【在 p****e 的大作中提到】
: 你说是chi-square test?
: 我以前有用过简单的chi-square test,但觉得不适合我这个例子
: 我的对比对象是连续数(conversion rate),分不了组,treatment是可以分4组,可那4
: *2那个2指什么呢?
: 谢谢赐教~
:
: test

i****e
发帖数: 46
7
Z-score 的原理就是 normal approximation. 如果Na, Nc等比较小,用 fisher exact
test.

【在 t*********o 的大作中提到】
: 请问用Z-score的原理是什么 - Z test?
: Z-score = (Pa-Pc)/square root of [Pa(1-Pa)/Na + Pc(1-Pc)/Nc]
: 如果Na, Nc比较小,是不是应该用t-test?

i****e
发帖数: 46
8
4-->control, A,B,C.
2-->converged Yes, No

那4

【在 p****e 的大作中提到】
: 你说是chi-square test?
: 我以前有用过简单的chi-square test,但觉得不适合我这个例子
: 我的对比对象是连续数(conversion rate),分不了组,treatment是可以分4组,可那4
: *2那个2指什么呢?
: 谢谢赐教~
:
: test

p****e
发帖数: 165
9
非常感谢你的解答。那这样如果每个组别数量不一也都是可以的对吧?

【在 i****e 的大作中提到】
: 4-->control, A,B,C.
: 2-->converged Yes, No
:
: 那4

i****e
发帖数: 46
10
正常情况下,没什么问题

【在 p****e 的大作中提到】
: 非常感谢你的解答。那这样如果每个组别数量不一也都是可以的对吧?
1 (共1页)
进入Statistics版参与讨论
相关主题
请教 怎么计算一组平均数之和的方差MCMC算法的Posterior Std. 一定是减少的么?
DoE missing cell问题请指教一般如何证明MCMC算法得到的sample是来自targeted distribution的呢?
convergence of linear regression with diverging number of predictors请教一个实际工作中和weight,quality score的问题
split-plot菜问题spearman's rank correlation 问题请教
菜鸟请问treatment在control/mutant的作用用什么test[合集] 请教一个percentile的问题 (SAS)
菜鸟请问ANOVA问题100个人测身高
在工业界,a/b testing vs multivariate testing分析有什么不一样呢?统计外行就Bonferroni correction问题求教统计高手
R help!!!SAS 如何实现excel solver的功能
相关话题的讨论汇总
话题: test话题: control话题: ab话题: visitors话题: pc