數(shù)據(jù)分析一定要避免辛普森悖論

辛普森悖論是一種統(tǒng)計(jì)現(xiàn)象，實(shí)驗(yàn)群體由具有不同統(tǒng)計(jì)特性的子群體組成，觀察到的現(xiàn)象是總體水平可能與單個(gè)子群體的水平不相關(guān)。換句話說(shuō)，辛普森悖論是在一個(gè)數(shù)據(jù)集中的變量被分組之后，他們之間的相關(guān)性可能會(huì)發(fā)生改變。

辛普森悖論在數(shù)據(jù)集方面看上去廣泛，而且沒有被分解成有意義的片段。辛普森悖論是研究中被忽略的“混淆變量”結(jié)果。混淆變量本質(zhì)上是一個(gè)與核心研究無(wú)關(guān)的變量，它隨著自變量的改變而改變。

例如，一個(gè)移動(dòng)應(yīng)用程序的用戶群，其中1萬(wàn)人使用Android設(shè)備，5千人使用iOS設(shè)備。用戶的總體轉(zhuǎn)化率是5％，iOS設(shè)備的轉(zhuǎn)化率是4%，Android設(shè)備的轉(zhuǎn)化率是5.5%：

假設(shè)相同的貨幣化(也就是Android用戶和iOS用戶在游戲中花的錢一樣多),資源有限的產(chǎn)品經(jīng)理可能根據(jù)這些數(shù)據(jù)會(huì)做出一些極端的決定，也許會(huì)優(yōu)先考慮安卓功能的開發(fā)，甚至干脆取消iOS項(xiàng)目。

然而當(dāng)數(shù)據(jù)按照設(shè)備再次細(xì)分，用戶群的不同的情況如下：

現(xiàn)在發(fā)現(xiàn)iOS平板的轉(zhuǎn)換率比Android平板高一點(diǎn)，iOS手機(jī)的轉(zhuǎn)換率同樣比Android手機(jī)高。如果看到了這一點(diǎn),產(chǎn)品經(jīng)理可能會(huì)對(duì)未來(lái)的產(chǎn)品做一系列不同的決策。

在這種情況下，設(shè)備類型是一個(gè)混淆變量：當(dāng)數(shù)據(jù)按照設(shè)備類型細(xì)分，子群體具有完全無(wú)法相比的統(tǒng)計(jì)特性。

iOS能在設(shè)備轉(zhuǎn)化方面打敗Android，但是在整體水平上卻輸給Android的原因是，每個(gè)平臺(tái)的設(shè)備類型不同：平板的轉(zhuǎn)化率比手機(jī)的轉(zhuǎn)化率高，在這個(gè)用戶群中,iOS平板占iOS設(shè)備的比例（30%）低于Android平板所占的比例（80%），盡管Android平板上的轉(zhuǎn)化率比IOS低。 把數(shù)據(jù)混合到一起就變成一個(gè)很大的問題，去比較兩組與完全不同的屬性的東西 —— 就像是去比較蘋果和橙子的區(qū)別一樣。

混淆變量經(jīng)常用于分析免費(fèi)增值產(chǎn)品,有以下幾個(gè)原因:

1. 基數(shù)大小。免費(fèi)增值產(chǎn)品因?yàn)楣逃械牡娃D(zhuǎn)化率需要大量用戶基數(shù)來(lái)產(chǎn)生收入。這些龐大的用戶通常由來(lái)自世界各地,來(lái)自不同地區(qū),并且使用設(shè)備廣泛。這種多樣性的呈現(xiàn)致使比較后的平均值幾乎沒有任何意義;

2. LTV曲線。免費(fèi)增值產(chǎn)品受益于長(zhǎng)尾貨幣化曲線。為了娛樂而消費(fèi)的使用者，消費(fèi)的指標(biāo)可能很接近，因此可以作為分界的界限。

3. 大部分用戶不會(huì)消費(fèi)。先前提到的免費(fèi)增值產(chǎn)品的固有低轉(zhuǎn)化率 作為一個(gè)基本的區(qū)分兩類用戶而存在 ：付費(fèi)和非付費(fèi)?；谶@個(gè)原因，把非付費(fèi)用戶群作為一個(gè)整體的任何指標(biāo)都是有缺陷的，因?yàn)樗阉兄笜?biāo)都傾斜到了絕大多數(shù)永遠(yuǎn)不會(huì)付費(fèi)的用戶（這就是為什么最低可行的指標(biāo)模型包括ARPU和ARPPU）

避免辛普森悖論的關(guān)鍵——關(guān)于用戶基礎(chǔ)的結(jié)論,不反映現(xiàn)實(shí)的不同類型的用戶與產(chǎn)品的交互——是明智地應(yīng)用維度分析。用戶細(xì)分在數(shù)據(jù)分析中是非常重要的,特別是對(duì)免費(fèi)增值產(chǎn)品,“普通用戶”不僅不存在,而且他的特征作為一個(gè)警示，避免開發(fā)人員被誤導(dǎo)。當(dāng)一個(gè)用戶群以廣泛多元化的特征存在時(shí)，通用數(shù)據(jù)是無(wú)用的。

當(dāng)考到產(chǎn)品開發(fā)路線圖時(shí)，用戶分類是至關(guān)重要的：如果數(shù)據(jù)分析表明哪些特性由于確定非常有價(jià)值而優(yōu)先開發(fā)，那么它同時(shí)也決定了應(yīng)該給哪些人做推銷以增長(zhǎng)用戶群。也正因此，從聚類分析得出似是而非的結(jié)論，不僅會(huì)造成開發(fā)錯(cuò)誤功能，也會(huì)把更多錯(cuò)誤的用戶加入到用戶群中。

為了避免這種情況，用于優(yōu)先功能開發(fā)的基本維度（“過濾器”，或用戶特性），應(yīng)該在用戶分類方面建立粗糙集。對(duì)于移動(dòng)產(chǎn)品，最基礎(chǔ)的設(shè)置一般包括：

位置（國(guó)家）

設(shè)備（平臺(tái)、外形，設(shè)備型號(hào)）

采集源;

早期行為線索( 如盈利/ 參與里程碑);

加入日期（用于控制季節(jié)性）

對(duì)于一些收購(gòu)渠道（如Facebook），其他人口統(tǒng)計(jì)數(shù)據(jù)點(diǎn)，如年齡，性別等可能也是重點(diǎn)。

用這些維度進(jìn)行分析比先前引用的“iOS和Android”的例子提供了更為可靠的見解。最終分析的目標(biāo)是為真正使用它的人改善產(chǎn)品。如果這個(gè)分析在一個(gè)錯(cuò)誤的前提下進(jìn)行，那么用戶的真正問題并不會(huì)得到解決。