數(shù)據(jù)分析的坑，都在統(tǒng)計(jì)學(xué)里埋過

為什么要了解統(tǒng)計(jì)學(xué)對(duì)于普羅大眾來說，統(tǒng)計(jì)學(xué)應(yīng)該會(huì)成為每人必備的常識(shí)，才能避免被越來越精致的數(shù)字陷阱欺騙。 起碼當(dāng)你看到各種百分比和收益率，能多出一份警覺，多思考些他們的來源和計(jì)算途徑。

對(duì)于互聯(lián)網(wǎng)工作者來說，統(tǒng)計(jì)知識(shí)投射在互聯(lián)網(wǎng)上，就是數(shù)據(jù)相關(guān)的方法論。舉例來講，現(xiàn)在盛行的 A/B Test 本質(zhì)上就是控制變量法實(shí)驗(yàn)中的一種。不同的是，互聯(lián)網(wǎng)獲取數(shù)據(jù)更簡單，進(jìn)行對(duì)比實(shí)驗(yàn)更方便。這將是一個(gè)統(tǒng)計(jì)學(xué)/數(shù)據(jù)分析的大事件。想象一下 Facebook 內(nèi)部幾千個(gè) A/B Gate，簡直稱得上一場史無前例的大規(guī)模人口社會(huì)實(shí)驗(yàn)。

這也是為什么近些年來 Growth Hacker ，Data Scientist 越來越火的原因。數(shù)據(jù)量的極易獲取，計(jì)算存儲(chǔ)成本的降低和分析效率的提升，使得統(tǒng)計(jì)分析的成本更低，規(guī)模更大，從而輸出價(jià)值更高。

統(tǒng)計(jì)和分析的差別

個(gè)人理解上，統(tǒng)計(jì)分析應(yīng)該是整個(gè)數(shù)據(jù)流程的不同部分。 統(tǒng)計(jì)在于工具或手段，分析更偏重理念。比如回歸分析為什么叫分析不叫統(tǒng)計(jì)，就是因?yàn)槠渲幸呀?jīng)包含了部分歸因的思想。再舉個(gè)栗子，決定對(duì)一批數(shù)據(jù)取平均數(shù)還是中位數(shù)，這是統(tǒng)計(jì)，該怎么利用，是分析。

如《赤裸裸的統(tǒng)計(jì)學(xué)》中指出來的一樣，統(tǒng)計(jì)分析是：

總結(jié)大量的數(shù)據(jù)

做出正確的決定

回答重要的社會(huì)問題

認(rèn)識(shí)并改善我們?nèi)粘５男袨槟Ｐ?/span>

坑一：統(tǒng)計(jì)指標(biāo)各有利弊通過選擇合適的統(tǒng)計(jì)指標(biāo)，來精準(zhǔn)表達(dá)數(shù)據(jù)集的內(nèi)容。 同時(shí)也需要防止有人利用這些指標(biāo)的優(yōu)缺點(diǎn)來誤導(dǎo)輿論，影響你的決策。

平均數(shù)，中位數(shù)，四分位數(shù)：平均數(shù)對(duì)極值敏感而中位數(shù)不會(huì)。所以北京的同學(xué)們經(jīng)常會(huì)感覺自己的薪資收入拖慢了集體的后腿….但如果看中位數(shù)和四分位數(shù)，可能情況就會(huì)大不相同。

絕對(duì)值，比率值：注冊(cè)數(shù)是絕對(duì)值，注冊(cè)率是比率值。比率值出現(xiàn)異常時(shí)，需要首先關(guān)注分子和分母的情況。比如說，某天發(fā)現(xiàn)網(wǎng)站 UV 周同比上漲了 500%，有可能是上周基數(shù)太低導(dǎo)致的。如果一上來就從維度進(jìn)行細(xì)分，很容易跑偏。

百分比，百分差，百分率：百分比是個(gè)常見的數(shù)據(jù)表達(dá)形式，其中貓膩也比較多。此類數(shù)字往往需要注意分母和分子的差別。以下是兩個(gè)常見例子：1，一件貨品先降價(jià)15%再漲15%價(jià)格是否一樣?2，對(duì)于百分差和百分率，稅率從3%漲到5%，可以說上漲了2個(gè)百分點(diǎn)，也可以說上漲了67%，給人感覺效果大不一樣。

指數(shù)型數(shù)據(jù)：即通過各項(xiàng)數(shù)據(jù)計(jì)算得出來的指數(shù)，優(yōu)點(diǎn)在于將所有信息濃縮成一個(gè)數(shù)字，簡單易懂，但容易忽略其中成分?jǐn)?shù)據(jù)的影響。美團(tuán)外賣當(dāng)初有個(gè)很復(fù)雜的考核城市用戶體驗(yàn)的指標(biāo)，就是個(gè)很好的例子。通過多項(xiàng)數(shù)據(jù)的整合，我們很好地把用戶體驗(yàn)這種比較虛的東西落到了實(shí)處。不過需要注意的是，對(duì)它的過分依賴容易帶來誤導(dǎo)性的結(jié)論。

坑二：統(tǒng)計(jì)背景不夠明確首先要了解：精確和準(zhǔn)確是有本質(zhì)差別的。 如在你內(nèi)急的時(shí)候我告訴你公廁在你右邊直走134.12m處，這很精確。不過實(shí)際上，廁所在左邊。準(zhǔn)確的要義是要能讓指標(biāo)貼近所描述事物。

這需要在衡量事物的指標(biāo)上達(dá)成統(tǒng)一。如在之前 20011 年時(shí)有爭論：美國制造業(yè)是否正在衰退?從總體產(chǎn)出上看，從 2000 年來看一直在增長，而制造業(yè)的就業(yè)數(shù)卻在下降。因此需要統(tǒng)一指標(biāo)來表述制造業(yè)的繁榮情況。

就像電商一樣，需要明確自己當(dāng)前關(guān)注的唯一核心指標(biāo)，如訂單數(shù)，交易額等。不同的關(guān)注會(huì)導(dǎo)致公司戰(zhàn)略上的不同。

第三確定指標(biāo)后，需要確定描述主體。同樣是房價(jià)，政府說我們今年有60%的城市，房均價(jià)比去年低!你們買房有希望了!但實(shí)際上，40%的房子都漲價(jià)了，且都集中在核心城市。P 民們照樣買不起房子..

注意時(shí)代背景：《赤裸裸的統(tǒng)計(jì)學(xué)》中舉了個(gè)很有趣的例子：如何評(píng)價(jià)歷史上票房最高的電影。好萊塢在截止2011年時(shí)，給出的票房前 5 名是：阿凡達(dá)，泰坦尼克號(hào)，蝙蝠俠前傳二，星球大戰(zhàn)四和怪物史萊克二。但歷史階段上，通脹情況是不一樣的。把通脹因素考慮進(jìn)來后，這個(gè)榜單應(yīng)該更新為：亂世佳人，星球大戰(zhàn)四，音樂之聲，外星人 ET 和十誡。

利用統(tǒng)計(jì)學(xué)手段可以影響人們的解讀：截取有利時(shí)間段，混淆單位等。

坑三：統(tǒng)計(jì)指標(biāo)也有偏見在選擇樣本和進(jìn)行統(tǒng)計(jì)分析時(shí)，會(huì)存在各種各樣的偏見，導(dǎo)致結(jié)果失之毫厘，謬以千里。

選擇性偏見：選擇了錯(cuò)誤的樣本，得到的分析結(jié)論自然是錯(cuò)的。如在第三季硅谷里，Richard 對(duì)自己的開發(fā)者朋友們發(fā)布了 Beta 版，好評(píng)如潮。但因?yàn)槠渖鲜蛛y度太高，普通用戶根本用不了，最后注冊(cè)用戶雖有百萬之巨，但活躍用戶卻寥寥無幾。同樣的，在對(duì)電商用戶習(xí)慣做分析時(shí)，一二線城市和三四線城市的消費(fèi)水平和習(xí)慣肯定有所差異，選擇單獨(dú)一種都會(huì)有失偏頗。

發(fā)表性偏見：學(xué)術(shù)研究或新聞更樂于發(fā)表肯定性結(jié)論而非否定性。一個(gè)打游戲不會(huì)引發(fā)癌癥的研究，肯定不如證明當(dāng) PM 會(huì)導(dǎo)致壽命更短的實(shí)驗(yàn)更受關(guān)注。

記憶性偏見：人們會(huì)因?yàn)榻Y(jié)果修改自己的記憶，如很多成功人士會(huì)在失敗后將原因歸咎于某個(gè)因素，并將其放大成關(guān)鍵原因。但事實(shí)上可能并非如此。

幸存者偏見：通過挑選樣本來操控?cái)?shù)據(jù)。簡而言之，對(duì)于那些下單成功的用戶數(shù)來講，他們的注冊(cè)成功率是 100%。在日常分析中，需要時(shí)刻警惕這種偏見的變異版本。

坑四：慎重選擇統(tǒng)計(jì)實(shí)驗(yàn)在研究事物的相關(guān)性時(shí)，控制變量實(shí)驗(yàn)是個(gè)比較科學(xué)的做法。 在現(xiàn)實(shí)生活中，一些變量很難甚至無法控制，此時(shí)便需通過各種統(tǒng)計(jì)實(shí)驗(yàn)來逼近這種效果。

隨機(jī)控制實(shí)驗(yàn)：隨機(jī)抽取樣本，隨機(jī)分配實(shí)驗(yàn)組和對(duì)照組。這便是最理想的 A/B Test，核心在分桶策略。

自然實(shí)驗(yàn)：利用已有數(shù)據(jù)營造近似的隨機(jī)實(shí)驗(yàn)，如在 O2O 城市運(yùn)營中，很難長期控制城市去做實(shí)驗(yàn)要求的推廣活動(dòng)來對(duì)比哪種更有效。合適的方法是從已有的數(shù)據(jù)中，挑選情況類似活動(dòng)不同的城市來進(jìn)行對(duì)比分析。

差分類差分實(shí)驗(yàn)：利用時(shí)間和空間上的對(duì)比來控制變量，如美國曾經(jīng)在研究受教育年齡對(duì)壽命的影響實(shí)驗(yàn)中，分析了田納西州在教育改革時(shí)間前后數(shù)據(jù)的變化，以及和相鄰州對(duì)比情況。

非連續(xù)分析實(shí)驗(yàn)：選擇條件類似但結(jié)果不同的樣本，進(jìn)行對(duì)比分析。如選擇一批犯罪情況類似的青少年，一組需要送去監(jiān)獄而另一組剛好免除牢獄之災(zāi)，通過對(duì)這兩組人的分析來研究坐牢對(duì)青少年后續(xù)犯罪率的影響。

《赤裸裸的統(tǒng)計(jì)學(xué)》中，還有部分關(guān)于概率，期望值和回歸分析的部分，限于篇幅所限，在這里就不多闡述了。感興趣的同學(xué)推薦詳細(xì)閱讀此書。更老的一本還有《統(tǒng)計(jì)數(shù)字會(huì)撒謊》。希望這篇分享能給大家?guī)硪稽c(diǎn)收獲。