大數(shù)據(jù)分析的道與術(shù)：數(shù)據(jù)分析常犯的6類錯(cuò)誤

夏天雪糕銷量越好，游泳溺水的事件也越多，是不是雪糕中某種成分對(duì)人影響的后果呢？簡(jiǎn)單的思考后就會(huì)發(fā)現(xiàn)，是因?yàn)闅鉁卦礁?，雪糕銷量會(huì)越高，同時(shí)溫度越高，去河里游泳的孩子就越多，溺水事件也就越多，雪糕銷量和溺水是關(guān)聯(lián)關(guān)系，而并非因果關(guān)系。

上面的例子很簡(jiǎn)單，也很容易被識(shí)破，但在實(shí)際的數(shù)據(jù)分析中，關(guān)聯(lián)和因果并不是那么容易區(qū)分。再舉一例：

某廣告公司分析人員發(fā)現(xiàn)：每月廣告投入越高的用戶，越不容易流失，而廣告投入低的用戶群則很容易流失，從而得出結(jié)論：“高投入會(huì)降低客戶流失率，建議銷售引導(dǎo)客戶提高首月廣告投入，從而降低新客流失率”。而實(shí)際情況是，新客戶初期的投入常常都比較少，看廣告有了效果之后，才會(huì)逐步擴(kuò)大廣告投放預(yù)算，投入高的客戶流失率低是因?yàn)檎J(rèn)可廣告投放效果，而不是因?yàn)榛ǖ腻X多。

關(guān)聯(lián)性很容易判斷，如何判斷是否是因果關(guān)系呢？因果符合下面的特征：

1.兩個(gè)事件是關(guān)聯(lián)的，就是說(shuō)總是同時(shí)出現(xiàn)

2.原因在前，結(jié)果在后

3.原因消除的話，結(jié)果也消除

因果關(guān)系需要設(shè)計(jì)相對(duì)嚴(yán)謹(jǐn)?shù)膶?duì)照來(lái)證明，更多的時(shí)候需要靠經(jīng)驗(yàn)來(lái)判斷，這時(shí)候更注意要謹(jǐn)慎下結(jié)論。

2. 不匹配的比較例：美國(guó)與西班牙戰(zhàn)爭(zhēng)爆發(fā)后，不少美國(guó)人不愿意參軍，坦誠(chéng)是因?yàn)榕滤?，針?duì)這種情況，美國(guó)軍方做了一份統(tǒng)計(jì)報(bào)告來(lái)勸說(shuō)大家參軍：“可靠數(shù)據(jù)統(tǒng)計(jì)，美國(guó)海軍的死亡率是 0.9%，而同期紐約市民的死亡率是 1.6%”，潛臺(tái)詞非常明顯，如果懼怕死亡更應(yīng)該參軍，因?yàn)樵谲姞I(yíng)中比呆在紐約更安全。這個(gè)例子乍看起來(lái)很有道理，如果你仔細(xì)琢磨，就會(huì)發(fā)現(xiàn)其中的陰謀：比較的對(duì)象不一樣！如果仔細(xì)查閱，就會(huì)發(fā)現(xiàn)，美國(guó)海軍死亡名單基本都是健康的青年小伙，而紐約市民的死亡名單大多是老弱病殘，這兩份數(shù)據(jù)放在一起顯然不合適。

在做數(shù)據(jù)比較的時(shí)候，需要選取合適的比較對(duì)象，以便更準(zhǔn)確地認(rèn)知和發(fā)現(xiàn)結(jié)論，在數(shù)據(jù)分析中，一般選取的比較對(duì)象有以下幾類：

自身歷史

與歷史同期相比，比如去年同期或上個(gè)季度。

同行競(jìng)品

合理預(yù)期

與之前產(chǎn)品發(fā)展的預(yù)期相比，比如：A 產(chǎn)品的研發(fā)，比預(yù)期收入提高 10%

同質(zhì)對(duì)照組

A/B Test 結(jié)果的對(duì)比

不抽煙不喝酒，63歲–林彪

不抽煙只喝酒，73歲–周恩來(lái)

只抽煙不喝酒，83歲–毛澤東

既抽煙又喝酒，93歲–鄧小平

吃喝嫖賭樣樣有，103歲–張學(xué)良沒(méi)有任何壞習(xí)慣，一生做好事–23歲，雷鋒

無(wú)論抽不抽煙，一個(gè)人都可能在各個(gè)年齡下死亡，從宏觀的統(tǒng)計(jì)上分析，抽煙的人的壽命平均比不抽煙的人小 5 歲，而上面舉出的個(gè)例，則無(wú)法說(shuō)明問(wèn)題

4. 精挑細(xì)選的數(shù)據(jù)維度例：一所藝術(shù)院校，男生校服只有褲子款式，而女生有褲子和裙子兩種款式，經(jīng)統(tǒng)計(jì)得知 75% 的女生選擇裙子，25% 的女生選擇褲子，今天你進(jìn)入校園，遠(yuǎn)遠(yuǎn)看到一個(gè)穿褲子的同學(xué)，他是男生的概率更高，還是女生的概率更高？憑感覺(jué)得到的答案是男生概率高，因?yàn)樗械哪猩即┭澴涌钍剑挥?25% 的女生選擇褲子款式。這個(gè)例子中忽略了一個(gè)重要的數(shù)據(jù)：男生和女生的人數(shù)。

如果告訴你，該學(xué)校共 1000 人， 900 人是女生，100 人是男生，結(jié)果是什么？

女生選褲子的有 900*25% = 225 人

男生選褲子的有 100 人

很顯然，這種情況下，這個(gè)人是女性的概率更高。在普通人看來(lái)，往往會(huì)有男女各占一半的經(jīng)驗(yàn)誤解。所以，在一些情況下，隱藏了部分?jǐn)?shù)據(jù)就是說(shuō)謊。

5. 過(guò)多腦補(bǔ)的推理在一個(gè)冬日的晚上，產(chǎn)品流量出現(xiàn)下跌，經(jīng)過(guò)一番分析，得出原因：天氣太冷，網(wǎng)民因?yàn)槭掷涠辉敢馍暇W(wǎng)，提前上床睡覺(jué)，所以流量下跌。在一個(gè)冬日的晚上，產(chǎn)品流量出現(xiàn)上漲，經(jīng)過(guò)一番分析，得出原因：天氣太冷，網(wǎng)民愿意出門，只好在家窩著上網(wǎng)，所以流量上漲。該案例背后的信息是：一個(gè)結(jié)果可能有多個(gè)原因可以解釋，“大忽悠”往往引導(dǎo)人們只去相信其中的一個(gè)，整個(gè)推理過(guò)程沒(méi)有對(duì)應(yīng)的細(xì)節(jié)數(shù)據(jù)輔助。

6. 先入為主的偏見(jiàn)

先別往下看，這幅圖的內(nèi)容是什么？

你可能覺(jué)得這幅圖太過(guò)模糊和抽象，一時(shí)也看不出是什么，如果告訴你說(shuō)，這是一只斑點(diǎn)狗，很多人就會(huì)恍然大悟，覺(jué)得確實(shí)是一只斑點(diǎn)狗。這里隱藏了一個(gè)重要的心理學(xué)理念：

你腦子里想的是什么，你就會(huì)去尋找什么，你將會(huì)得到你期盼的結(jié)果 —— 勃朗寧該理念有個(gè)通俗的說(shuō)法是“人們只會(huì)看見(jiàn)他們?cè)敢饪匆?jiàn)的事情”。

在數(shù)據(jù)分析中，雖然很難不帶任何“先入為主”的觀點(diǎn)，但依然要追求追求客觀分析的態(tài)度，也要適時(shí)根據(jù)數(shù)據(jù)去觀察和反思，不斷修正自己的觀點(diǎn)。