Hello兄弟姐妹萌好，我是不想努力的小P。今天繼續(xù)為大家推薦一本好書：《A/B測(cè)試：創(chuàng)新始于試驗(yàn)》，推薦指數(shù)三星半。（以下簡(jiǎn)稱A/B測(cè)試）本書的作者是吆喝科技的創(chuàng)世人王曄，先后任職于NEC、微軟、谷歌等國(guó)際知名公司，任職期間負(fù)責(zé)P2P流媒體優(yōu)化、P4P/ALTO、Google Adwords質(zhì)量與移動(dòng)廣告新產(chǎn)品等前沿項(xiàng)目的設(shè)計(jì)、開發(fā)及優(yōu)化工作，積累了大量實(shí)驗(yàn)創(chuàng)新的理論和實(shí)戰(zhàn)經(jīng)驗(yàn)。

我們?nèi)缃窨吹降母鞣N互聯(lián)網(wǎng)產(chǎn)品的改版以及創(chuàng)新，其背后都離不開試驗(yàn)工作，其中被互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)行業(yè)廣泛應(yīng)用的試驗(yàn)方法是A/B測(cè)試。A/B測(cè)試的本質(zhì)是試驗(yàn)，作為一種新興的網(wǎng)頁優(yōu)化方法，通過對(duì)比實(shí)驗(yàn)增加轉(zhuǎn)化率和注冊(cè)率，帶來產(chǎn)品和運(yùn)營(yíng)的創(chuàng)新，以實(shí)現(xiàn)各項(xiàng)指標(biāo)的增長(zhǎng)，如今他更是增長(zhǎng)黑客所必備的核心思維方式和工作方法。在流量日漸昂貴、精細(xì)化運(yùn)營(yíng)的大環(huán)境下，互聯(lián)網(wǎng)產(chǎn)品、運(yùn)營(yíng)和市場(chǎng)營(yíng)銷人員主要具備A/B測(cè)試思維，以測(cè)試結(jié)果為依據(jù)做營(yíng)銷決策，優(yōu)化頁面，提高轉(zhuǎn)化率，迭代產(chǎn)品。

按照小P來劃分這本書的結(jié)構(gòu)，可以簡(jiǎn)單的分成；兩部分。第一部分主要講了試驗(yàn)

以及A/B測(cè)試的重要性，其中穿插科普了統(tǒng)計(jì)學(xué)的相關(guān)知識(shí)；第二部分列舉了很多的A/B測(cè)試相關(guān)的試驗(yàn)案例。

本書開篇從達(dá)爾文雀和現(xiàn)代醫(yī)學(xué)的角度剖析證明，生活處處是試驗(yàn)，試驗(yàn)?zāi)軒臀覀兏宄牧私馐澜?。其?shí)關(guān)于A/B測(cè)試的重要性小P相信不需要向大家描述很多，因?yàn)閷?duì)本文感興趣的同學(xué)基本也已經(jīng)認(rèn)同了A/B測(cè)試的重要，那么我們首先來系統(tǒng)的定義下A/B測(cè)試。

在互聯(lián)網(wǎng)產(chǎn)品迭代實(shí)驗(yàn)中的A/B測(cè)試是指：為了驗(yàn)證一個(gè)新的產(chǎn)品交互設(shè)計(jì)、產(chǎn)品功能或者策略的效果，在同一時(shí)間段，給多組用戶（一般叫作對(duì)照組和試驗(yàn)組，用戶的分組方法統(tǒng)計(jì)上隨機(jī)，使多組用戶在統(tǒng)計(jì)角度無差別）分別展示優(yōu)化前（對(duì)照組）和優(yōu)化后（試驗(yàn)組，可以有多組）的產(chǎn)品交互設(shè)計(jì)、產(chǎn)品功能或者策略、算法，并通過數(shù)據(jù)分析，判斷優(yōu)化前后的產(chǎn)品交互設(shè)計(jì)、產(chǎn)品功能或者策略、算法在一個(gè)或者多個(gè)評(píng)估指標(biāo)上是否符合預(yù)期的一種試驗(yàn)方法。

A/B測(cè)試包含三種特性：預(yù)測(cè)性、并行性和科學(xué)性。隨著數(shù)據(jù)驅(qū)動(dòng)決策的思想在互聯(lián)網(wǎng)及傳統(tǒng)企業(yè)中的普及，很多人開始重視A/B測(cè)試。然而，有些人只是根據(jù)字面意義理解，并沒有產(chǎn)生更多的思考，我們來列一下“偽”A/B測(cè)試的集中常見形式：

1. 用戶分流不科學(xué)。比如在不同的應(yīng)用市場(chǎng)發(fā)布不同版本的App，或者在不同的渠道發(fā)布不同版本的頁面，并進(jìn)行用戶數(shù)據(jù)對(duì)比，都是不科學(xué)的。在這里最重要一點(diǎn)是：要得到科學(xué)可信的A/B測(cè)試試驗(yàn)結(jié)果，就必須合理地進(jìn)行正確的流量分割，保證試驗(yàn)組和對(duì)照組里的用戶特征是一致的，并且都具有代表性，可以代表總體用戶特征。

2. 盲目分層。盲目分層是指所有的試驗(yàn)都放在不同的分層去做，都用正交試驗(yàn)的方法去做。

3. 不考慮試驗(yàn)數(shù)據(jù)的統(tǒng)計(jì)有效性。針對(duì)數(shù)據(jù)統(tǒng)計(jì)本書花了一部分來介紹統(tǒng)計(jì)學(xué)原理方面的知識(shí)，有興趣的同學(xué)可以去看一下，還是很有收獲的。

舉個(gè)例子來說，2013年愛彼迎對(duì)搜索頁進(jìn)行了改版設(shè)計(jì)。對(duì)于愛彼迎而言，搜索頁是

業(yè)務(wù)流程最基礎(chǔ)和重要的頁面。因此，能否準(zhǔn)確地確定改版的效果是非常關(guān)鍵的。我們?cè)谙聢D能看出搜索頁改版前后的變化；新版更多的強(qiáng)調(diào)了房源的圖片以及標(biāo)注了房源所在位置的地圖。

大家單憑感覺來說，會(huì)不會(huì)覺得這是一次成功的改版呢？然而，結(jié)果在等待了很長(zhǎng)的時(shí)

間后，A/B測(cè)試的結(jié)果反饋出新版并沒有帶來更多的預(yù)約。這當(dāng)然是難以接受的，最后，愛彼迎的分析業(yè)務(wù)員發(fā)現(xiàn)，問題出現(xiàn)在了IE瀏覽器上：

除了IE瀏覽器外，其他主流的瀏覽器的表現(xiàn)都是優(yōu)于舊版的。這個(gè)分析幫助愛彼迎發(fā)現(xiàn)了真正的問題：產(chǎn)品改進(jìn)有很大價(jià)值，所以在修復(fù)相關(guān)的問題后，源于IE的數(shù)據(jù)也有了2%的增長(zhǎng)，所以，驗(yàn)證你所使用的測(cè)試系統(tǒng)是否如你所期望的一樣工作。如果A/B測(cè)試反饋的結(jié)果有問題或者過于理想，你應(yīng)該仔細(xì)的檢查他。

那么A/B測(cè)試在日常工作中怎樣落地相應(yīng)的作戰(zhàn)計(jì)劃呢？我們首先需要制定試驗(yàn)的戰(zhàn)略，大致分為以下四步：

第1步，明確戰(zhàn)略目標(biāo)。這一點(diǎn)和小P帶著大家簡(jiǎn)讀《黑客增長(zhǎng)》是差不多的，我們還是需要首先明確自己公司/產(chǎn)品的北極星指標(biāo)。

第2步，制定戰(zhàn)略路線圖。制定北極星之后，各個(gè)團(tuán)隊(duì)?wèi)?yīng)該如何合理地執(zhí)行北極星指標(biāo)呢？這里我們引入一個(gè)概念——指標(biāo)樹。指標(biāo)樹就是講北極星指標(biāo)進(jìn)行合理的分解，拆解成各個(gè)業(yè)務(wù)可執(zhí)行的具體指標(biāo)，范例如下。在制定實(shí)施計(jì)劃時(shí)，我們需要注意每個(gè)A/B測(cè)試項(xiàng)。

目的試驗(yàn)時(shí)間通常是一周到兩周。對(duì)于流量很大的項(xiàng)目，如果不考慮用戶的活躍時(shí)間特征，試驗(yàn)周期可能會(huì)縮短到一兩天。而對(duì)于新功能上線的認(rèn)證，為了排除用戶新奇效應(yīng)、首因效應(yīng)等干擾因素，一般建議試驗(yàn)周期為一個(gè)月，甚至兩個(gè)月。

第3步，管理試驗(yàn)項(xiàng)目。一般來說，管理項(xiàng)目的人員由產(chǎn)品人員、運(yùn)營(yíng)人員、市場(chǎng)人員、加上設(shè)計(jì)人員和開發(fā)人員組成，一個(gè)完整的A/B測(cè)試實(shí)施流程應(yīng)如下圖所示：

第4步，搭建試驗(yàn)的基礎(chǔ)設(shè)施。最基礎(chǔ)的設(shè)施包括兩個(gè)：分流采樣和實(shí)驗(yàn)結(jié)果的統(tǒng)計(jì)分析。分流采樣就是科學(xué)地為A/B測(cè)試中的不同對(duì)照版本選擇和分配用戶流量，讓不同的用戶體驗(yàn)不同的試驗(yàn)方案。統(tǒng)計(jì)分析也需要我們具備置信區(qū)間估計(jì)、統(tǒng)計(jì)功效評(píng)估和實(shí)驗(yàn)數(shù)據(jù)的實(shí)時(shí)性才能達(dá)到基本的科學(xué)性標(biāo)準(zhǔn)。

制定戰(zhàn)略過后，就是戰(zhàn)略的執(zhí)行了。在執(zhí)行的探索階段，我們主要的工作是收集信息和產(chǎn)生實(shí)驗(yàn)想法。一般來說，我們常見的收集實(shí)驗(yàn)渠道包括：業(yè)務(wù)背景、用戶心理學(xué)等理論、用戶行為數(shù)據(jù)分析、用戶調(diào)研、行業(yè)調(diào)研以及實(shí)驗(yàn)歸檔。而在執(zhí)行的驗(yàn)證階段，就是一個(gè)迭代的過程，他幫助我們檢驗(yàn)在探索階段中產(chǎn)生的那些用戶洞察是正確的，以及他們?cè)诂F(xiàn)實(shí)場(chǎng)景中的最佳工作方式。

接下來，我們嘗試開始上手一個(gè)實(shí)驗(yàn)?？傮w來說，A/B測(cè)試試驗(yàn)的創(chuàng)建主要包含下面5個(gè)步驟：

第一步。收集數(shù)據(jù)，從數(shù)據(jù)中發(fā)現(xiàn)存在的問題和機(jī)會(huì)。

第二步?；谝鉀Q的問題設(shè)立試驗(yàn)?zāi)繕?biāo)，如提升注冊(cè)轉(zhuǎn)化率或者新用戶留存率。

第三步。找到目標(biāo)后，設(shè)計(jì)解決方案，提升試驗(yàn)的假設(shè)，如“將注冊(cè)按鈕的文案從立即注冊(cè)改為獲取演示可以帶來更多的注冊(cè)轉(zhuǎn)化數(shù)量”。

第四步。進(jìn)行A/B測(cè)試試驗(yàn)部署和上線。

第五步。實(shí)驗(yàn)開啟后定期觀察數(shù)據(jù)，通過顯著性的統(tǒng)計(jì)結(jié)果來判斷試驗(yàn)結(jié)果，從而做出科學(xué)有效的決策。

創(chuàng)建過后，就正式開始我們的實(shí)施。

1. 新建試驗(yàn)

2. SDK集成

3. 在線編輯試驗(yàn)版本

4. 創(chuàng)建優(yōu)化指標(biāo)

5. 集成調(diào)試

6. 調(diào)整流量，運(yùn)行試驗(yàn)

7. 試驗(yàn)數(shù)據(jù)判斷及結(jié)束試驗(yàn)

這樣，我們就完整地實(shí)施了一次A/B測(cè)試。最后我們用書中一個(gè)在線教育的經(jīng)典案

例來看一下，A/B測(cè)試是如何具體實(shí)操的。

案例：某在線教育企業(yè)的產(chǎn)品在移動(dòng)端的推廣效率成為其市場(chǎng)和產(chǎn)品部門非常重視的核心指標(biāo)之一。為了促進(jìn)投放H5頁面的轉(zhuǎn)化率，進(jìn)一步提高用戶的購(gòu)買轉(zhuǎn)化，產(chǎn)品部門決定通過A/B測(cè)試找到確定的優(yōu)化方案。

如下圖所示，我們可以看到兩種設(shè)計(jì)版本主要的改變?cè)谟谥v“60萬好老師”改為“名師1對(duì)1輔導(dǎo)”、將“預(yù)約免費(fèi)試聽課”改為“尋找自己的1對(duì)1老師”、將“免費(fèi)試聽”改為“快速預(yù)約”，其余元素基本保持不變。

在移動(dòng)端進(jìn)行廣告投放后的試驗(yàn)結(jié)果非常有意思，在頁面按鈕的點(diǎn)擊轉(zhuǎn)化方面，原始版本比試驗(yàn)版本高10%。而在后續(xù)的實(shí)際購(gòu)買轉(zhuǎn)化方面，試驗(yàn)版本則比原始版本高出9&。對(duì)于此試驗(yàn)結(jié)果，需要結(jié)合自身企業(yè)發(fā)展階段來評(píng)估最優(yōu)版本。如果處在產(chǎn)品剛起步階段，此時(shí)需要更多地拉新用戶，那么原始版本更好，因?yàn)槟塬@得更多潛在用戶的資料；如果產(chǎn)品發(fā)展到一定階段，更關(guān)注的是用戶付費(fèi)轉(zhuǎn)化和客單價(jià)等指標(biāo)，那么試驗(yàn)版本更好，因?yàn)榭梢詭砀嘤唵巍?