注意:這是本文的第一部分。您可以在這里閱讀第二部分。

A/B測(cè)試，又稱受控實(shí)驗(yàn)，在工業(yè)上被廣泛應(yīng)用于產(chǎn)品上市決策。它允許科技公司用一個(gè)用戶子集來(lái)評(píng)估一個(gè)產(chǎn)品/特性，從而推斷該產(chǎn)品可能如何被所有用戶接收。數(shù)據(jù)科學(xué)家處于a/B測(cè)試過(guò)程的前沿，a/B測(cè)試被認(rèn)為是數(shù)據(jù)科學(xué)家的核心能力之一。數(shù)據(jù)科學(xué)采訪反映了這一現(xiàn)實(shí)。面試官通常會(huì)向應(yīng)聘者提出a/B測(cè)試問(wèn)題以及商業(yè)案例問(wèn)題（也就是指標(biāo)問(wèn)題，產(chǎn)品感覺(jué)問(wèn)題），以評(píng)估應(yīng)聘者的產(chǎn)品知識(shí)和推動(dòng)a/B測(cè)試過(guò)程的能力。

在本文中，我們將采用面試驅(qū)動(dòng)的方法，將一些最常見(jiàn)的面試問(wèn)題與A/B測(cè)試的不同組成部分聯(lián)系起來(lái)，包括選擇測(cè)試思路、設(shè)計(jì)A/B測(cè)試、評(píng)估測(cè)試結(jié)果以及做出是否進(jìn)行測(cè)試的決定。具體來(lái)說(shuō)，我們將討論7最常見(jiàn)的面試問(wèn)題和答案。

在你開(kāi)始閱讀之前，如果你是一個(gè)視頻人，請(qǐng)隨意查看這個(gè)YouTube視頻，以獲得這篇文章的縮略版本。

在測(cè)試之前--不是每個(gè)想法都值得測(cè)試

a/B測(cè)試是一個(gè)強(qiáng)大的工具，但并不是每個(gè)想法都是通過(guò)運(yùn)行測(cè)試來(lái)選擇的。有些想法的測(cè)試成本可能很高，處于早期階段的公司可能有資源限制，因此對(duì)每個(gè)想法都運(yùn)行測(cè)試是不現(xiàn)實(shí)的。因此，我們首先要選擇哪些想法值得測(cè)試，特別是當(dāng)人們對(duì)改進(jìn)一個(gè)產(chǎn)品有不同的意見(jiàn)和想法時(shí)，有許多想法可以選擇。例如，UX設(shè)計(jì)師可能建議更改一些UI元素，產(chǎn)品經(jīng)理可能建議簡(jiǎn)化結(jié)帳流程，工程師可能建議優(yōu)化后端算法，等等。在這種情況下，涉眾依賴數(shù)據(jù)科學(xué)家來(lái)推動(dòng)基于數(shù)據(jù)的決策。一個(gè)面試樣本問(wèn)題是：

在電子商務(wù)網(wǎng)站上，有幾個(gè)想法可以增加轉(zhuǎn)化率，比如允許多項(xiàng)商品結(jié)賬（目前用戶可以同時(shí)結(jié)賬一項(xiàng)商品），允許非注冊(cè)用戶結(jié)賬，改變“購(gòu)買”按鈕的大小和顏色，等等，你如何選擇投資哪個(gè)想法？

評(píng)估不同想法價(jià)值的一種方法是使用歷史數(shù)據(jù)進(jìn)行定量分析以獲得每個(gè)想法的機(jī)會(huì)大小。例如，在投資于電子商務(wù)網(wǎng)站的多項(xiàng)商品結(jié)賬之前，通過(guò)分析每個(gè)用戶購(gòu)買的多項(xiàng)商品的數(shù)量來(lái)獲得影響的上限大小。如果只有很小比例的用戶購(gòu)買了一個(gè)以上的商品，那么開(kāi)發(fā)這個(gè)功能可能就不值得了。更重要的是調(diào)查用戶的購(gòu)買行為，以了解用戶為什么不同時(shí)購(gòu)買多個(gè)商品。是因?yàn)檫x擇的項(xiàng)目太少了嗎？是不是物品太貴了，他們只能買得起一個(gè)？是不是結(jié)賬過(guò)程太復(fù)雜了，他們不想再經(jīng)歷一次？

這種分析提供了關(guān)于哪個(gè)idea是a/B測(cè)試的好候選者的方向性見(jiàn)解。然而，歷史數(shù)據(jù)只告訴我們過(guò)去是如何做的。它無(wú)法準(zhǔn)確預(yù)測(cè)未來(lái)。

為了獲得對(duì)每個(gè)想法的全面評(píng)價(jià)，我們可以通過(guò)焦點(diǎn)小組和調(diào)查進(jìn)行定性分析。從焦點(diǎn)小組收集的反饋（與用戶或有洞察力的用戶進(jìn)行有指導(dǎo)的討論）或調(diào)查中的問(wèn)題提供了對(duì)用戶痛點(diǎn)和偏好的更多見(jiàn)解。定性和定性分析相結(jié)合可以幫助進(jìn)一步的想法選擇過(guò)程。

設(shè)計(jì)A/B測(cè)試

一旦我們選擇一個(gè)想法來(lái)測(cè)試，我們需要決定我們想要運(yùn)行一個(gè)測(cè)試的時(shí)間，以及如何選擇隨機(jī)化單元。在這一節(jié)中，我們將逐一討論這些問(wèn)題。

運(yùn)行一個(gè)測(cè)試需要多長(zhǎng)時(shí)間？

要決定一個(gè)測(cè)試的持續(xù)時(shí)間，我們需要獲得一個(gè)測(cè)試的樣本大小，這需要三個(gè)參數(shù)。這些參數(shù)是：

• 第二類錯(cuò)誤率β或冪，因?yàn)閮?1-β。你認(rèn)識(shí)其中一個(gè)，你認(rèn)識(shí)另一個(gè)。
• 顯著性水平α
• 最小可檢測(cè)效應(yīng)

經(jīng)驗(yàn)法則是，樣本量n大約等于16（基于α=0.05和β=0.8)乘以樣本方差除以δ平方，而δ是治療與對(duì)照的差值：

如果您有興趣了解我們?nèi)绾翁岢鼋?jīng)驗(yàn)法則公式，請(qǐng)查看此視頻，以獲得一步一步的演練。

在面試過(guò)程中，你不需要解釋你是如何得出這個(gè)公式的，但你需要解釋我們?nèi)绾潍@得每個(gè)參數(shù)，以及每個(gè)參數(shù)如何影響樣本量。例如，如果樣本方差較大，我們需要更多的樣本，如果增量較大，我們需要更少的樣本。

樣本方差可以從現(xiàn)有數(shù)據(jù)中得到，但我們?nèi)绾喂烙?jì)δ，即治療與對(duì)照之間的差異？

實(shí)際上，我們?cè)谶M(jìn)行實(shí)驗(yàn)之前并不知道這一點(diǎn)，這就是我們使用最后一個(gè)參數(shù)的地方:最小可檢測(cè)效應(yīng)。在實(shí)踐中，這是最小的差異。例如，我們可以考慮將收入增加0.1%作為可檢測(cè)到的最小效應(yīng)。在現(xiàn)實(shí)中，這個(gè)價(jià)值是由多個(gè)利益相關(guān)者討論和決定的。

一旦我們知道了樣本量，我們就可以通過(guò)樣本量除以每組的用戶數(shù)來(lái)獲得運(yùn)行實(shí)驗(yàn)的天數(shù)。如果這個(gè)數(shù)字少于一周，我們應(yīng)該運(yùn)行實(shí)驗(yàn)至少七天，以捕捉每周的模式。通常建議運(yùn)行兩周。當(dāng)涉及到為測(cè)試收集數(shù)據(jù)時(shí)，多總是比不夠好。

對(duì)照組與治療組間的干擾

通常，我們通過(guò)隨機(jī)選擇用戶并將每個(gè)用戶分配到控制組或治療組來(lái)劃分控制組和治療組。我們希望每個(gè)用戶都是獨(dú)立的，控制組和治療組之間沒(méi)有干擾。然而，有時(shí)這種獨(dú)立性假設(shè)并不成立。當(dāng)測(cè)試社交網(wǎng)絡(luò)，如Facebook、Linkedin和Twitter，或雙邊市場(chǎng)，如Uber、Lyft和愛(ài)彼迎時(shí)，可能會(huì)發(fā)生這種情況。一個(gè)面試樣本問(wèn)題是：

X公司測(cè)試了一個(gè)新功能，目標(biāo)是增加每個(gè)用戶創(chuàng)建的帖子數(shù)量。他們將每個(gè)用戶隨機(jī)分配到控制組或治療組。該測(cè)試在帖子數(shù)量方面以1%的優(yōu)勢(shì)獲勝。在新特性向所有用戶推出后，您預(yù)計(jì)會(huì)發(fā)生什么？會(huì)不會(huì)和1%一樣，如果不是，會(huì)多還是少？（假設(shè)沒(méi)有新奇效應(yīng)）

答案是，我們將看到一個(gè)大于1%的值。原因如下。

在社交網(wǎng)絡(luò)中（例如Facebook、Linkedin和Twitter)，用戶的行為很可能受到其社交圈中人的行為的影響。如果用戶網(wǎng)絡(luò)中的人（如朋友和家人）使用某個(gè)功能或產(chǎn)品，則用戶傾向于使用該功能或產(chǎn)品。這稱為網(wǎng)絡(luò)效應(yīng)。因此，如果我們以“使用者”作為隨機(jī)單位，并且治療對(duì)使用者有影響，這種影響可能會(huì)溢出到對(duì)照組，即對(duì)照組的行為受到治療組的影響。在這種情況下，對(duì)照組和治療組之間的差異低估了治療效果的真正好處。對(duì)于面試問(wèn)題，會(huì)超過(guò)1%。

對(duì)于雙邊市場(chǎng)（如Uber、Lyft、ebay和愛(ài)彼迎）：控制組和治療組之間的干擾也會(huì)導(dǎo)致對(duì)治療效果的偏頗估計(jì)。這主要是因?yàn)榭刂平M和治療組之間共享資源，這意味著控制組和治療組將爭(zhēng)奪相同的資源。例如，如果我們有一個(gè)新產(chǎn)品在治療組中吸引了更多的驅(qū)動(dòng)程序，那么在對(duì)照組中可用的驅(qū)動(dòng)程序就會(huì)更少。因此，我們無(wú)法準(zhǔn)確估計(jì)治療效果。與社會(huì)網(wǎng)絡(luò)不同，在社會(huì)網(wǎng)絡(luò)中，治療效果低估了新產(chǎn)品的實(shí)際利益，在雙邊市場(chǎng)中，治療效果高估了的實(shí)際效果。

如何應(yīng)對(duì)干擾？

既然我們知道了為什么控制和治療之間的干擾會(huì)導(dǎo)致發(fā)射后的效果表現(xiàn)不同于治療效果，這就引出了下一個(gè)問(wèn)題:我們?nèi)绾卧O(shè)計(jì)測(cè)試來(lái)防止控制和治療之間的溢出？一個(gè)示例面試問(wèn)題是：

我們正在推出一個(gè)新功能，為我們的騎手提供優(yōu)惠券。目標(biāo)是通過(guò)降低每次乘坐的價(jià)格來(lái)增加乘坐的次數(shù)。概述一個(gè)測(cè)試策略來(lái)評(píng)估新特性的效果。

有許多方法可以解決組之間的溢出，主要目標(biāo)是隔離控制組和處理組中的用戶。下面是幾種常用的解決方案，每種方案適用于不同的場(chǎng)景，并且都有局限性。在實(shí)際應(yīng)用中，我們要選擇在一定條件下效果最好的方法，也可以將多種方法結(jié)合起來(lái)，得到可靠的結(jié)果。

社交網(wǎng)絡(luò):

• 確保隔離的一種方法是創(chuàng)建網(wǎng)絡(luò)群集來(lái)表示用戶組，這些用戶組更有可能與組內(nèi)的人進(jìn)行交互，而不是與組外的人進(jìn)行交互。一旦我們有了這些集群，我們可以將它們分為控制組和治療組。查看這篇論文，了解更多關(guān)于這種方法的細(xì)節(jié)。
• 自我聚類隨機(jī)化。這個(gè)想法源于LinkedIn。一個(gè)集群是由一個(gè)“自我”（一個(gè)焦點(diǎn)個(gè)體）和她的“改變”（她立即連接到的個(gè)體）組成的。它著重于測(cè)量一次性網(wǎng)絡(luò)效應(yīng)，即一個(gè)用戶的即時(shí)連接處理對(duì)該用戶的影響，然后每個(gè)用戶要么具有該特征，要么不具有該特征，不需要用戶之間進(jìn)行復(fù)雜的交互。本文對(duì)該方法進(jìn)行了詳細(xì)說(shuō)明。

雙邊市場(chǎng):

• 基于地理的隨機(jī)化。我們可以按地理位置劃分，而不是按用戶劃分。例如，我們可以把紐約大都會(huì)區(qū)作為對(duì)照組，把舊金山灣區(qū)作為治療組。這將允許我們?cè)诿總€(gè)組中隔離用戶，但陷阱是會(huì)有更大的差異，因?yàn)槊總€(gè)市場(chǎng)在某些方面都是獨(dú)特的，比如客戶的行為、競(jìng)爭(zhēng)對(duì)手等。
• 另一種方法是基于時(shí)間的隨機(jī)化，雖然不太常用。基本上，我們選擇一個(gè)隨機(jī)的時(shí)間，例如，一周中的一天，并將所有用戶分配到控制組或治療組。當(dāng)處理效果只持續(xù)很短的時(shí)間時(shí)，例如當(dāng)測(cè)試一個(gè)新的浪涌?jī)r(jià)格算法時(shí)，算法表現(xiàn)更好。當(dāng)治療效果需要很長(zhǎng)時(shí)間才能有效時(shí)，如轉(zhuǎn)診方案，它就不起作用。用戶可能需要一些時(shí)間來(lái)引用他或她的朋友。