數(shù)據(jù)分析中常犯哪些錯誤以及如何解決？

在大大小小的數(shù)據(jù)分析中會因為各種原因犯不同的錯誤都是哪方面的呢，又如何解決？

錯把相關(guān)性當成因果性  correlation vs. causation

經(jīng)典的冰淇凌銷量和游泳溺水人數(shù)成正比的數(shù)據(jù)，這并不能說明冰淇凌銷量的增加會導(dǎo)致更多的人溺水，而只能說明二者相關(guān)，比如因為天熱所以二者數(shù)量都增加了。這個例子比較明顯，說起來可能會有人覺得怎么會有人犯這樣的錯誤，然而在實際生活、學(xué)習(xí)、工作中，時不時的就會有人犯這樣的錯誤。

舉個栗子

數(shù)據(jù)顯示，當科比出手10-19次時，湖人的勝率是71.5%；當科比出手20-29次時，湖人的勝率驟降到60.8%；而當科比出手30次或者更多時，湖人的勝率只有41.7%。

根據(jù)這組數(shù)據(jù)，為了贏球，科比應(yīng)該少出手？并不一定如此。有可能科比出手少的時候是因為隊友狀態(tài)好，并不需要他出手太多。也有可能是因為球隊早早領(lǐng)先，垃圾時間太多。而出手太多的比賽是因為比賽艱難或者隊友狀態(tài)不好，需要他挺身而出。當然，以上也只是可能之一，具體是什么情況光靠這組數(shù)據(jù)并不能得出任何結(jié)論。

幸存者偏差 survivorship bias

數(shù)據(jù)分析中看到的樣本是“幸存了某些經(jīng)歷”才被觀察到的，進而導(dǎo)致結(jié)論不正確。

比如比爾蓋茨、喬布斯、扎克伯格都沒有念完大學(xué)，所以大家都應(yīng)該退學(xué)去創(chuàng)業(yè)。這一結(jié)論的最大問題在于那些退學(xué)而又沒有成功的例子，很多時候我們是看不到的。另一方面，他們是因為牛逼才退學(xué)，而不是退學(xué)才牛逼的，看，相關(guān)性/因果性真是限魂不散。

再比如 Uber 發(fā)現(xiàn)新用戶有10塊錢優(yōu)惠券，但是平均評價卻只有3星。相反，第二次再用的時候沒有優(yōu)惠券了，評價卻高達4星半。這說明，不給優(yōu)惠券用戶評價會更高，果然用戶雖然愛用優(yōu)惠券，但內(nèi)心還是覺得便宜沒好東西的？很明顯，幸存者偏差在這個例子里體現(xiàn)在那些打一星二星評價的用戶，之后可能就沒有第二次了。更明顯的，這個例子是我瞎扯的。

樣本跟整體存在著本質(zhì)的不同

以知乎為例，會有種錯覺人人年薪百萬，985/211起，各種GFSBFM，天朝收入水平直逼灣區(qū)碼工。然而一方面這是幸存者偏差，知乎大V們的發(fā)聲更容易被看到（看，幸存者偏差也是陰魂不散）。另一方面，不要小瞧知乎跟天朝網(wǎng)民的差別，以及天朝網(wǎng)民跟天朝老百姓的差別–樣本跟整體的差別。

類似的例子有水木的工作版塊、步行街的收入和華人網(wǎng)站的貧困線。

過于追逐統(tǒng)計上的顯著性 statistical significance

統(tǒng)計101告訴我們，要比較兩組數(shù)是否不同，最基本的一點可以看它們的區(qū)別是不是統(tǒng)計上顯著。

比如 Linkedin 又要改版了（我為什么要說又呢），有兩個版本 A 和 B. 灰度測試發(fā)現(xiàn)，跟現(xiàn)有版本比起來，A 的日活比現(xiàn)有版本高20%，但是統(tǒng)計不顯著。而 B 的日活跟現(xiàn)有版本雖然只高了3%，但是統(tǒng)計顯著。于是 PM 拿出統(tǒng)計101翻到第二頁說，來，咱們把統(tǒng)計顯著的版本 B 上線吧?？啾频臄?shù)據(jù)科學(xué)家 DS 說，等一下！并不是所有時候都選統(tǒng)計顯著的那一個，咱們再看看版本 A 的數(shù)據(jù)吧（具體分析略過一萬字）。

很顯然，這個例子也是我瞎扯的。

不做數(shù)據(jù)可視化，以及更可怕的：做出錯誤或者帶誤導(dǎo)性的數(shù)據(jù)可視化

數(shù)據(jù)分析提供的結(jié)果和建議不具有可行性

twitter通過分析文本數(shù)據(jù)發(fā)現(xiàn)。。。

算了，我編不出來，由此可見，不具有可行性的結(jié)果雖然是“理論正確‘的分析結(jié)果，然并卵。。。

不做數(shù)據(jù)分析

別笑，據(jù)以前的校內(nèi)后來的人人現(xiàn)在不知道叫什么的 PM 說，這是真的。