你们的产品功能上线都会做A/B测试吗?

胡子叔叔 分类:产品

你们负责的产品功能上线是如何做A/B测试的?接入的是外部平台SDK还是公司自研的?

回复

共2条回复 我来回复
  • 产品线以海外产品为主,海外产品我们主要使用Firebase的A/B测试。

    目前我们使用A/B测试的场景主要集中在以下几种:
    1. 有多种方案可用,但是不知道哪一种最优时。比如首页上面有一个空间可以用于放置功能入口,用于确认放哪个功能对留存,用户活跃度和收入的提升最大。

    2. 某些特殊指标的监控,由于Google和Android本是一家,在Firebase上可以提升一些特殊的指标,比如App_remove,应用卸载,这个作为第三方是基本上无法监测的。

    3. 版本中有较多功能会影响相同的指标时,一个版本中可能会有众多功能会影响到同一个指标,比如大家比较关心的留存指标,这个时候使用多个A/B测试同时运转可以分隔开每个功能的影响。

    无需使用A/B测试的场景:

    理论上做产品,肯定是要观察数据,对比变化所带来的影响。但是有一些场景是不需要进行A/B测试的,比如一些用统计分析就能处理的只需要统计功能使用率就可以的改动。或者不管好不好都要做的改动(作为产品的你懂的)。

    使用Firebase A/B测试的优势与限制:

    优势:
    1. 接入简单,在经历了几个版本的适应后,现在我们的团队接入A/B测试基本上只需要几分钟就可以完成编码。

    2. 控制方便,随时可以将某一个分支设置为全量运行。

    3. 多个试验同时运行,之前也尝试过自己研发ab测试的方案,分流方面比较简单粗暴,而且同时进行多个实验时,分流方案会比较复制,特别对于留存数据的观察,结合第三方平台观察时,需要对每个种变化进行单独的切分。而Firebase可以解决这个问题。

    限制:

    1. 只能在海外使用,我也在寻找靠谱的国内的免费A/B测试平台

    2. 无法完整统计收入影响,关于收入的统计是不完整,虽然他有提供了指标可供观察。

    3. 一次只能观察5个指标,但是我认为这个大多数情况下是完全够用的

    1星期前 0条评论
  • AB测试虽然有诸多好处,但是如果用户体量不够,或者功能的影响覆盖面小,一般都不需要做AB测试的.

    1星期前 0条评论
分享本页
返回顶部