注意:這是本文的第二部分。你可以在這里閱讀第一部分。

分析測(cè)試結(jié)果

新穎性和首位效應(yīng)

當(dāng)產(chǎn)品發(fā)生變化時(shí)，人們對(duì)它的反應(yīng)會(huì)有所不同。有些人習(xí)慣于產(chǎn)品的工作方式，不愿意改變。這被稱為首要效應(yīng)或改變厭惡。其他人可能會(huì)歡迎變化，一個(gè)新功能吸引他們更多地使用產(chǎn)品。這被稱為新奇效應(yīng)。然而，這兩種影響都不會(huì)持續(xù)很長時(shí)間，因?yàn)槿藗兊男袨樵谝欢〞r(shí)間后會(huì)穩(wěn)定下來。如果a/B測(cè)試有較大或較小的初始效應(yīng)，這可能是由于新的或首要效應(yīng)。這是實(shí)踐中常見的問題，很多面試問題都是關(guān)于這個(gè)話題的。一個(gè)面試樣本問題是：

我們?cè)谝粋€(gè)新特性上運(yùn)行了一個(gè)a/B測(cè)試，測(cè)試成功了，所以我們向所有用戶啟動(dòng)了這個(gè)更改。然而，在推出該特性一周后，我們發(fā)現(xiàn)治療效果迅速下降。怎么回事？

答案是新奇效應(yīng)。隨著時(shí)間的推移，隨著新鮮感的消退，重復(fù)使用會(huì)減少，所以我們觀察到治療效果下降。

現(xiàn)在您理解了新奇和首要效應(yīng)，我們?nèi)绾谓鉀Q潛在的問題？這是面試中典型的跟進(jìn)問題。

處理這種影響的一個(gè)方法是完全排除那些影響的可能性。我們可以只對(duì)首次用戶運(yùn)行測(cè)試，因?yàn)樾缕嫘?yīng)和首要效應(yīng)顯然不會(huì)影響這類用戶。如果我們已經(jīng)進(jìn)行了測(cè)試，并且我們想要分析是否有新穎性或首要效應(yīng)，我們可以（1）將控制組新用戶的結(jié)果與治療組的結(jié)果進(jìn)行比較，以評(píng)估新穎性效應(yīng)（2）將第一次用戶的結(jié)果與治療組現(xiàn)有用戶的結(jié)果進(jìn)行比較，以獲得新穎性或首要效應(yīng)影響的實(shí)際估計(jì)。

多重測(cè)試問題

在A/B試驗(yàn)的最簡(jiǎn)單形式中，有兩種變體：對(duì)照(A)和治療(B)。有時(shí)，我們運(yùn)行一個(gè)測(cè)試與多個(gè)變體，看看哪一個(gè)是最好的所有功能。當(dāng)我們要測(cè)試一個(gè)按鈕的多種顏色或測(cè)試不同的主頁時(shí)，可能會(huì)發(fā)生這種情況。然后我們會(huì)有不止一個(gè)治療組。在這種情況下，我們不應(yīng)該簡(jiǎn)單地使用0.05的相同顯著性水平來決定檢驗(yàn)是否顯著，因?yàn)槲覀兲幚淼氖?個(gè)以上的變異體，錯(cuò)誤發(fā)現(xiàn)的概率增加。例如，如果我們有3個(gè)治療組與對(duì)照組進(jìn)行比較，觀察到至少1個(gè)假陽性的機(jī)會(huì)是多少（假設(shè)我們的顯著性水平是0.05）？

我們可以得到?jīng)]有假陽性的概率（假設(shè)組是獨(dú)立的），

PR(FP=0)=0.95*0.95*0.95=0.857

然后獲得至少有1個(gè)假陽性的概率

Pr(FP>=1)=1-Pr(FP=0)=0.143

只有3個(gè)治療組（4個(gè)變異），假陽性（或I型錯(cuò)誤）的概率超過14%。這稱為“多重測(cè)試”問題。一個(gè)面試問題是

我們正在運(yùn)行一個(gè)測(cè)試與10個(gè)變體，嘗試我們的登陸頁面的不同版本。1個(gè)處理獲勝，P值小于0.05。你能改變嗎？

答案是否定的，因?yàn)槎嘀販y(cè)試問題。有幾種方法來接近它。一種常用的方法是Bonferroni校正。它將顯著性水平0.05除以試驗(yàn)次數(shù)。對(duì)于面試問題，既然我們測(cè)量了10個(gè)測(cè)試，那么測(cè)試的顯著性水平應(yīng)該是0.05除以10等于0.005?；旧希挥挟?dāng)檢驗(yàn)的p值小于0.005時(shí)，我們才聲稱檢驗(yàn)是顯著的。Bonferroni校正的缺點(diǎn)是它往往過于保守。

另一種方法是控制錯(cuò)誤發(fā)現(xiàn)率(FDR):

fdr=e[#假陽性/#拒絕]

它度量了所有對(duì)零假設(shè)的拒絕，即所有你聲明有統(tǒng)計(jì)上顯著差異的度量。他們中有多少人有真正的差異，而有多少人是假陽性。只有當(dāng)您有大量的度量，比如數(shù)百個(gè)時(shí)，這才有意義。假設(shè)我們有200個(gè)指標(biāo)，并將FDR上限設(shè)為0.05。這意味著我們可以看到5次假陽性。我們每次都會(huì)在那200個(gè)指標(biāo)中觀察到至少10個(gè)假陽性。

做決定

理想情況下，我們看到了實(shí)際的顯著治療結(jié)果，我們可以考慮向所有用戶推出該功能。但有時(shí)，我們會(huì)看到相互矛盾的結(jié)果，例如一個(gè)指標(biāo)上升而另一個(gè)下降，因此我們需要做出輸贏的權(quán)衡。一個(gè)面試樣本問題是：

運(yùn)行測(cè)試后，您會(huì)看到所需的指標(biāo)，例如點(diǎn)擊率在上升，而印象數(shù)在下降。你會(huì)怎么做決定？

在現(xiàn)實(shí)中，產(chǎn)品推出決策可能涉及到很多因素，如實(shí)施的復(fù)雜性、項(xiàng)目管理的努力、客戶支持成本、維護(hù)成本、機(jī)會(huì)成本等。

在采訪中，我們可以提供解決方案的簡(jiǎn)化版本，重點(diǎn)放在實(shí)驗(yàn)的當(dāng)前目標(biāo)上。它是為了最大限度地參與，保留，收入，還是其他什么？此外，我們希望量化負(fù)面影響，即非目標(biāo)度量中的負(fù)面變化，以幫助我們做出決定。例如，如果收入是目標(biāo)，我們可以選擇它，而不是最大限度地參與，假設(shè)負(fù)面影響是可以接受的。

資源

最后，我想向您推薦兩個(gè)參考資料，讓您更多地了解A/B測(cè)試。

• Udacity的免費(fèi)A/B測(cè)試課程涵蓋了A/B測(cè)試的所有基礎(chǔ)知識(shí)。
• 值得信賴的在線控制實(shí)驗(yàn)-A/B測(cè)試的實(shí)用指南，作者：羅恩·科哈維，黛安·唐，和雅·許。它對(duì)如何在工業(yè)中運(yùn)行A/B測(cè)試、潛在的陷阱和解決方案有深入的知識(shí)。它包含了很多有用的東西，所以我實(shí)際上計(jì)劃寫一篇文章來總結(jié)這本書的內(nèi)容。如果你感興趣，請(qǐng)繼續(xù)關(guān)注！