企鹅股票网

b转a:什么是 A/B 测试?作者:冠诚

发布时间:2020-02-10 17:58   来源:网络 点击 :

感谢邀请。在过去的几年里,我们的智能优化&AB测试引擎服务了美图、Camera360、宜人贷、爱钱进、自如、中原地产、51信用卡、中国移动、咪咕视频等众多互联网公司,对A/B测试在国内的应用有一些粗浅的认识,在此分享给大家,希望对大家有帮助。

一、什么是A/B测试

随着移动互联网流量红利、人口红利的逐渐衰退,越来越多的产品运营开始关注数据驱动的精细化运营方法,期望通过精细化运营在一片红海中继续获得确定的用户增长,而A/B测试就是一种有效的精细化运营手段。简单来说,A/B测试是一种用于提升App/H5/小程序产品转化率、优化获客成本的数据决策方法。在对产品进行A/B测试时,我们可以为同一个优化目标(例如优化购买转化率)制定两个方案(比如两个页面),让一部分用户使用
A 方案,同时另一部分用户使用 B 方案,统计并对比不同方案的转化率、点击量、留存率等指标,以判断不同方案的优劣并进行决策,从而提升转化率。

图1. A/B测试



以下内容太长 TL;DR


2008年奥巴马竞选美国总统的时候,有一个互联网团队专门负责竞选相关活动的线上产品,例如奥巴马的竞选募捐网站。这个网站最核心的目标是:让网站的访客完成注册并募捐竞选资金。这个团队当时做了一个非常成功的实验:通过对6个不同风格的主页进行AB测试,最优的版本将网站注册转化率提升了40.6%,而这40.6%的新增用户直接带来了额外的5700万美金募捐资金!

图2. 右侧的最优版本相比左边原始版本提升了40.6%的注册转化率,将募捐收入提高了5700万美金


对于互联网产品来说,通过A/B测试提升点击转化率,优化获客成本已得到越来越多的关注。以获客环节为例:许多产品都会在百度、头条等渠道投放落地页广告,以完成新用户的注册转化,而落地页效果的好坏,会直接影响转化率和获客成本。以每月200万投放费用为例,如果通过A/B测试将落地页的注册转化率有效提升20%,相当于每月能多获得价值40万推广成本的新用户。


那么,产品什么时候需要做A/B测试呢?一个App在做版本迭代更新的时候,所有的功能都需要做A/B测试吗?根据Testin合作的大量A/B测试客户的实际经验,一个产品在遇到“影响大,选择难”问题的时候,是最适合做AB测试的。


以广告投放的落地页为例,随着流量红利的结束,落地页的投放成本越来越高,落地页转化率效果的优劣影响也变得越来越大;与此同时,不同设计风格、不同布局的落地页之中到底哪个转化率最高,往往是一个困难的选择题。在“影响大,选择难”这两个条件都符合的情况下,落地页的A/B测试也就成了一个必然选择:因为A/B测试带来的收益会远高于A/B测试的实施成本。就像之前提到的奥巴马竞选网站首页的A/B测试一样,5700万美金的收入收益远高于整个实验的成本。


那如果我们在落地页中不使用A/B测试,而是根据经验,直接上一个落地页呢?在回答这个问题之前,我们先来看看我们在做产品决策时,常面临的一些挑战:


• 产品优化依靠经验主义,不能保证新的产品版本一定会有业绩提升

• 重大产品功能很难决策,不确定哪个方案效果最优

• “后验”成本高,如果改版失败,业绩损失无法挽回


从这些挑战中我们可以看到,如果我们在产品上线时不做A/B测试的话,一方面不能保证上线的版本转化率等指标一定是最优的,其次还面临着因产品改版失败带来的用户流失、业绩损失的风险。实际上,随着业务的发展,产品迭代体系的逐渐成熟,新功能上线时必须做A/B测试的紧迫性会越来越高,因为改版失败的风险越来越大,而用户的习惯也越来越难以捕捉,所以A/B测试的必要性会越来越高。


让我们来看一个真实的例子。下面这幅图,反应的是微软Bing搜索引擎从2008年到2015年每周A/B测试频率的增长情况。在08年Bing上线的初期,每周整个搜索引擎大约做20-30个A/B测试实验,而到15年之后,整个搜索引擎每周的A/B测试实验个数已经多达400个。从14年到15年,Bing移动端产品的A/B测试频率也增长(图中绿色曲线)到了每周近100个实验。由此可以看到,随着产品业务和用户量的增长,对A/B测试的需求也会随之增长,由数据来做科学决策的必要性也随之提升。


图3. 微软Bing搜索引擎每周A/B测试实验频率的增长曲线

二、A/B测试最佳实践

一个产品运营团队,在实际推进A/B测试的时候,会遇到多方面的挑战。从Testin实际合作的AB测试客户来看,我们发现这些挑战可以总结成三个方面的问题:人、业务和工具。

图4. A/B测试实施三要素



任何一个组织,核心要素都是人。在这个要素中,最重要的就是让整个团队的成员统一思想,想明白诸如“什么是A/B测试?”,“是否有必要在我们的产品运营中做A/B测试?”,“怎么做A/B测试?”,“如何衡量A/B测试的价值和效果?”等等相关的问题。

业务

在一个具体的业务场景中,我们最关注的问题往往是如何将A/B测试在业务中的价值最大化。这个时候,产品运营比较关心的问题是“在已有的产品迭代流程中,如何低成本高效率地引入A/B测试?”,“如何在有限的资源投入情况下,最大化提高A/B测试的收益?”,“如何推进A/B测试在团队中的应用?”,“A/B测试的最佳实践是什么?”

工具

A/B测试的工具有两种选择:自建A/B测试工具,或者与Testin云测这样专业的第三方A/B测试服务提供商合作。自建的A/B测试工具最大的好处是与企业业务关联度高,这种方式比较适合有强大的数据分析技术研发实力的企业。而与Testin
AB测试这样的专业第三方服务企业合作,最大的好处是能高效率、低成本地开展A/B测试,把精力专注于自己的业务增长上。


当一个团队具备以上三个要素,开始真正推进A/B测试时,最佳的实践流程是怎么样的呢?如果是初次接触A/B测试的同学,可能会有一个误解:“A/B测试的效果好坏非常依赖灵光一闪的好想法好创意,如果创意好,A/B测试的效果就好,如果创意不行,那么A/B测试的效果就不行”。这种理解最大的问题就在于,忽略了A/B测试其实是有一套完整的方法论和实践流程的。在这套理论体系下,我们是可以稳定地通过A/B测试实现产品增长的。


1. 确立优化目标。在图5的A/B测试流程体系中,首先要做的,就是确立想要优化的“目标”。在这个过程中,我们建议大家一定要设立“可量化的、可以落实到某一个具体功能点的、可实施的小目标”。举例来说,如果一个目标不好直接量化,例如“将用户满意度提升15%”,那么就不好形成一个具体的A/B测试方案。同理,如果这个目标太大太宽泛,也不好落地。一个可行的目标可以是“通过优化注册流程,将注册转化率提升20%”,这个目标可以量化,而且足够具体,可以在后续流程中形成一系列相关的A/B测试实验方案。


2. 分析数据。通过数据分析,我们可以找到现有产品中可能存在的问题,只有先发现了某一个产品环节可能存在的问题,才好在后续流程中提出相应的优化方案,以优化这个环节的转化率。


3. 提出想法。在这一步,我们可以针对数据分析发现的问题,针对性的提出产品优化的方案,例如优化流程以提高转化率,优化设计和文案等等。一般来说,A/B测试的想法会以“假设”的方式提出。例如,“假设把注册流程中的图片校验码方式,改成短信校验码的方式,我们的注册转化率可能提升10%”。基于这个假设,我们会设计对应的A/B测试,并通过实验的数据验证这个假设是否成立。在后面的章节我们也会通过更多实际的A/B测试案例来跟大家分享一些相关经验。


4. 重要性排序。在开发资源、版本排期、优先级等因素的制约下,我们很可能不能对所有的想法进行实验。在这一步,最重要的目的就是根据重要性、潜在收益、开发成本等因素对所有想法进行优先级的排序,并选择最重要的几个想法进行A/B测试。


5. 实施A/B测试并分析实验结果。对于一个A/B测试来说,结果主要分成两种:有效和无效。无效的A/B测试实验对于团队来说,其实是非常宝贵的经验,这个时候我们可以把这些无效的实验转化成团队的经验,避免以后再犯同样的错误。而对于有效的A/B测试来说,我们成功通过实验提升了产品的转化率,这时我们可以把优胜的版本正式推送给全部用户,以实现产品用户的有效增长。


6. 迭代整个流程,进行下一轮A/B测试。


在这个流程中,最重要的就是迭代、迭代再迭代。尤其是在刚开始推行A/B测试的时候,很容易遇到“团队成员经验尚浅,不确定哪些产品功能点做A/B测试效果会比较明显”的问题,往往需要一些quick wins去建立团队对A/B测试的信心。这个时候,比较有效果的办法有两种:一种是针对一些转化率相对较低、很有可能通过改版获得提升的产品功能点,精心设计A/B测试实验,一般都会有比较明显的效果;另一种是快速地做一批简单的A/B测试实验(例如修改关键按钮的文案,颜色,图标等),只要其中有一部分实验取得了成功,就能很好的在团队内部推进A/B测试的实施。像Testin AB测试产品提供了业界首家针对App/H5的可视化编辑功能,可以对按钮、图标等控件进行“所见即所得”的可视化编辑,实现文案、图标的实时修改,而且无需应用市场审核,可以即时更新,非常适合快速地进行简单的A/B测试实验。


某国外大型互联网公司分享过一个有意思的数据,在他们进行过的数千个A/B测试实验中,只有大约1/3的实验取得了正面提升。这个数据说明了一个很有意思的现象:“产品经理的很多想法,其实不符合预期”,这也是为什么需要通过A/B测试的真实实验数据来进行产品决策的原因。


插播福利:感兴趣体验美图、宜人贷、相机360正在用的智能优化&AB测试产品 TestinData.AI 的同学,可以访问ab.testin.cn/?预约试用:)


三、A/B测试案例剖析

我们通过一些真实的案例,来分析下A/B测试的实际应用。


案例1:注册流程改版

让我们先来看一个注册流程的A/B测试。这个产品原始版本的注册流程使用了图片校验码的方式,但是注册转化率偏低。于是产品经理提出一个设想:如果把图片校验码方式改成短信校验码的方式,有可能因为降低了用户输入的难度导致注册转化率的提升。


带着这样的假设,他们设计了如下图所示两个版本的注册流程。通过使用Testin
A/B测试产品,分别为两个版本分配了20%的用户流量,通过一周左右的实验观察,数据显示新版本(短信校验码)的注册转化率提升了接近10%,并且95%置信区间是[8%,
12%],说明这个实验版本推广到全量用户之后,95%的概率下至少会有8%到12%的提升。基于这个实验结果,产品经理选择将新版本注册流程推送给全部用户,显著提升了注册转化率。


案例2:App首页大改版


首页大改版对于一个产品来说,无疑满足“影响大,选择难”两个必要条件。在下面这个App首页改版的例子中,新版本的首页布局发生了多处改动:例如改动了4个子栏目、新增了一个banner,更改了类目展示方式。对于一个App来说,首页的改版属于非常重大的产品变动,稍有不慎就可能对现有用户体验造成很大的影响,如果改版失败,会直接导致成交额、用户点击转化率、留存率的下降。正因为影响重大,同时又不确定新版本是否能提升业绩,所以A/B测试在这种场景下是非常必要的。



产品经理进行这样的大改版,核心目的主要是为了提升首页向二级页面的点击转化率,并最终促成更高的成交转化。在这个实验中,因为有多个首页模块发生了变动,我们需要为不同的首页模块分别设置对应的指标,以对比两个版本首页向二级页面的转化率优劣。通过A/B测试平台将两个版本用户流量分别设置为10%,并运行2周实验之后,实验数据显示新版本首页向二级页面的整体点击量提升了12%以上。通过A/B测试,产品经理成功验证了新版本首页达到了预期的优化目标,之后就可以将新版本发布给全部用户了。


案例3:美图的A/B测试实验

美图正在用TestinData.AI对潮自拍APP的首页设计进行A/B测试优化实验,以提高社区化转型过程中用户对拍摄功能的使用率。


美图正在用TestinData.AI对潮自拍APP的首页设计进行A/B测试优化实验,以提高社区化转型过程中用户对拍摄功能的使用率

四、未来 - 智能优化&A/B测试

TestinData.AI A/B测试,已经为很多顶尖的产品经理、运营推广团队提供了从优秀到卓越的必杀密器,为产品、运营和经营管理人员,有效掌握、提升了以下这些经营核心指标:

  • 点击通过率 Click-through Rate (CTR)
  • 转化率 Conversion Rate (CR)
  • 更新率 Renewal Rate
  • 跳出率 Bounce Rate
  • 平均保留率 Average Retention
  • 平均使用量(应用,手机网站、网页,App屏幕或游戏场景上的时间),Mean Usage (Time on app, mobile web, mobile webpage, an app screen or game scene)
  • 平均每用户事务数Average Transactions Per User
  • 净推动者指数 Net Promoter Score (NPS)
  • 客户满意率 Customer Satisfaction Rate
  • 平均每用户收入 Average Revenue Per User (ARPU)
  • 平均订单大小 Average Order Size

在跟美图、宜人贷、自如、51信用卡、相机360等众多合作伙伴做A/B测试的过程中,我们发现,未来的A/B测试引擎一定是越来越智能,越来越自动化:智能优化引擎应该能实时持续动态对不同产品版本进行数据分析,并进行智能流量调节,无需人工干预,自动提升转化率,降低产品试错风险。

于是,我们在18年推出了业界首家基于强化学习的智能优化引擎,可以7*24小时系统自动进行版本选优和比例调整,无人工干预,保持运营水准持续提升。感兴趣的同学可以访问: ab.testin.cn/? 了解更多详情。

智能优化引擎,7*24小时智能、自动、持续提升转化率,省时省力


受限于篇幅,本文未深入讨论A/B测试的一些相关知识,例如分流算法、统计算法、95%置信区间、统计显著性等等。如果对这些内容感兴趣的读者,欢迎加作者微信交流:threadingnow

参考资料

  1. TestinData.AI官网:
TestinData.AI,转化率优化,AB测试,智能优化,数据分析-云测数据-国内领先的应用智能优化引擎

2. 知乎专栏 | A/B测试那些事:zhuanlan.zhihu.com/abte

2. TestinData.AI 智能优化&AB测试官方博客:ab.testin.cn/blog/

更多回复:
猜你喜欢