在国内互联网领域,字节跳动是最为推崇 A/B 测试的公司,旗下“抖音”、“今日头条”两大最著名产品,连 APP 的名字都是来源于 A/B 测试。

A/B 测试(也叫 AB 实验)也被称为对照实验,其方法是针对某个要优化的产品功能或策略,制定两个或多个方案,将用户流量随机分成多组,在保证每组用户特征相同的前提下,让不同组分别看到/使用不同的方案。最终结合科学的统计算法,通过实验数据对比来确定最优解。

在字节,每天会开启 1500 余个 A/B 测试的运行,以抖音为例,应用上的每一个微小细节改动前必然也都会通过 A/B 测试来确认用户体验。

一次,抖音的 UI 设计师提出,或许可以优化文字和视频内容之间的蒙层,让视频界面上的文字更突出,用户刷视频的体验会更舒服,从而停留在 App 上更久一点。

那么蒙层的高度和透明度如何设置,才能达到预期效果呢?在字节,这只有通过 A/B 测试能知道。

确定了优化目标之后,支持抖音的数据分析师团队着手开始设计实验方案,调整蒙层的高度、透明度这两个主要参数,后续交给研发团队做实现,最终分流给不同用户。

围绕两个变量的组合,团队对小小的蒙层进行了为期半个月的实验。每个方案,不同参数的组合,会需要 7 天左右的观测时间,来收集用户观看时长、留存等指标。

最终,敲定了最佳方案(下图 2),相较原版本(下图 1),屏幕些微的视觉变化,让抖音的人均 App 使用时长提升了约 0.2%,人均 App 活跃天数提升了约 0.1%。

类似像上面蒙层调整的例子数不胜数,数以千计的 AB 测试支撑着抖音的用户留存数据变得越来越好。

比如抖音原来的界面设计里,为了简洁美观,以偏符号性的按钮设计为主——类似爱心代表点赞,省略号代表评论。但是在评估用户体验时团队发现,这样的设计对不熟悉产品功能的新用户来说并不友好,他们很少主动使用。通过 A/B 测试,团队添加了更直观的文字提示去引导用户行为。A/B 测试贯穿了抖音的整个生命周期,从产品命名、功能、交互设计到推荐算法策略,这是字节跳动的基因。

经过了字节内部业务的多年打磨,2019 年这一套在字节大放异彩的 A/B 实验工具正式通过火山引擎对外服务,取名为 DataTester。它基于先进的底层算法,提供科学分流能力,提供智能的统计引擎,实验结果可靠有效,助力业务决策。

目前,DataTester 在字节内每日新增 1500+实验,累计已有 150W+ 的 A/B 实验进行过。在外部客户的服务上,也已覆盖推荐、广告、搜索、UI、产品功能等业务场景,提供从实验设计、实验创建、指标计算、统计分析到最终评估上线等贯穿整个实验生命周期的服务。来自得到、美的、凯叔讲故事 APP 等企业客户,已经通过火山引擎 DataTeser 开启了用数据驱动科学决策的道路。

点击这里,了解更多 AB 实验

原文地址:http://www.cnblogs.com/bytedata/p/16885511.html

1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长! 2. 分享目的仅供大家学习和交流,请务用于商业用途! 3. 如果你也有好源码或者教程,可以到用户中心发布,分享有积分奖励和额外收入! 4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解! 5. 如有链接无法下载、失效或广告,请联系管理员处理! 6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需! 7. 如遇到加密压缩包,默认解压密码为"gltf",如遇到无法解压的请联系管理员! 8. 因为资源和程序源码均为可复制品,所以不支持任何理由的退款兑现,请斟酌后支付下载 声明:如果标题没有注明"已测试"或者"测试可用"等字样的资源源码均未经过站长测试.特别注意没有标注的源码不保证任何可用性