
數(shù)據(jù)分析中會(huì)常犯哪些錯(cuò)誤,如何解決的?
經(jīng)典的冰淇凌銷量和游泳溺水人數(shù)成正比的數(shù)據(jù),這并不能說明冰淇凌銷量的增加會(huì)導(dǎo)致更多的人溺水,而只能說明二者相關(guān),比如因?yàn)樘鞜崴远邤?shù)量都增加了。這個(gè)例子比較明顯,說起來可能會(huì)有人覺得怎么會(huì)有人犯這樣的錯(cuò)誤,然而在實(shí)際生活、學(xué)習(xí)、工作中,時(shí)不時(shí)的就會(huì)有人犯這樣的錯(cuò)誤。
舉個(gè)栗子
數(shù)據(jù)顯示,當(dāng)科比出手10-19次時(shí),湖人的勝率是71.5%;當(dāng)科比出手20-29次時(shí),湖人的勝率驟降到60.8%;而當(dāng)科比出手30次或者更多時(shí),湖人的勝率只有41.7%。
根據(jù)這組數(shù)據(jù),為了贏球,科比應(yīng)該少出手?并不一定如此。有可能科比出手少的時(shí)候是因?yàn)殛?duì)友狀態(tài)好,并不需要他出手太多。也有可能是因?yàn)榍蜿?duì)早早領(lǐng)先,垃圾時(shí)間太多。而出手太多的比賽是因?yàn)楸荣惼D難或者隊(duì)友狀態(tài)不好,需要他挺身而出。當(dāng)然,以上也只是可能之一,具體是什么情況光靠這組數(shù)據(jù)并不能得出任何結(jié)論。
-- 聲明:非科比粉,路人偏黑。
幸存者偏差 survivorship bias
數(shù)據(jù)分析中看到的樣本是“幸存了某些經(jīng)歷”才被觀察到的,進(jìn)而導(dǎo)致結(jié)論不正確。
比如比爾蓋茨、喬布斯、扎克伯格都沒有念完大學(xué),所以大家都應(yīng)該退學(xué)去創(chuàng)業(yè)。這一結(jié)論的最大問題在于那些退學(xué)而又沒有成功的例子,很多時(shí)候我們是看不到的。另一方面,他們是因?yàn)榕1撇磐藢W(xué),而不是退學(xué)才牛逼的,看,相關(guān)性/因果性真是限魂不散。
再比如 Uber 發(fā)現(xiàn)新用戶有10塊錢優(yōu)惠券,但是平均評(píng)價(jià)卻只有3星。相反,第二次再用的時(shí)候沒有優(yōu)惠券了,評(píng)價(jià)卻高達(dá)4星半。這說明,不給優(yōu)惠券用戶評(píng)價(jià)會(huì)更高,果然用戶雖然愛用優(yōu)惠券,但內(nèi)心還是覺得便宜沒好東西的?很明顯,幸存者偏差在這個(gè)例子里體現(xiàn)在那些打一星二星評(píng)價(jià)的用戶,之后可能就沒有第二次了。更明顯的,這個(gè)例子是我瞎扯的。
樣本跟整體存在著本質(zhì)的不同
以知乎為例,會(huì)有種錯(cuò)覺人人年薪百萬,985/211起,各種GFSBFM,天朝收入水平直逼灣區(qū)碼工。然而一方面這是幸存者偏差,知乎大V們的發(fā)聲更容易被看到(看,幸存者偏差也是陰魂不散)。另一方面,不要小瞧知乎跟天朝網(wǎng)民的差別,以及天朝網(wǎng)民跟天朝老百姓的差別--樣本跟整體的差別。
類似的例子有水木的工作版塊、步行街的收入和華人網(wǎng)站的貧困線。
過于追逐統(tǒng)計(jì)上的顯著性 statistical significance
統(tǒng)計(jì)101告訴我們,要比較兩組數(shù)是否不同,最基本的一點(diǎn)可以看它們的區(qū)別是不是統(tǒng)計(jì)上顯著。
比如 Linkedin 又要改版了(我為什么要說又呢),有兩個(gè)版本 A 和 B. 灰度測(cè)試發(fā)現(xiàn),跟現(xiàn)有版本比起來,A 的日活比現(xiàn)有版本高20%,但是統(tǒng)計(jì)不顯著。而 B 的日活跟現(xiàn)有版本雖然只高了3%,但是統(tǒng)計(jì)顯著。于是 PM 拿出統(tǒng)計(jì)101翻到第二頁說,來,咱們把統(tǒng)計(jì)顯著的版本 B 上線吧。苦逼的數(shù)據(jù)科學(xué)家 DS 說,等一下!并不是所有時(shí)候都選統(tǒng)計(jì)顯著的那一個(gè),咱們?cè)倏纯窗姹?A 的數(shù)據(jù)吧(具體分析略過一萬字)。
很顯然,這個(gè)例子也是我瞎扯的。
不做數(shù)據(jù)可視化,以及更可怕的:做出錯(cuò)誤或者帶誤導(dǎo)性的數(shù)據(jù)可視化
比如 這個(gè)回答里提到的
「數(shù)據(jù)會(huì)說謊」的真實(shí)例子有哪些? - 謝科的回答
在趨勢(shì)圖中,為了說明增長(zhǎng)趨勢(shì)多明顯,把Y調(diào)成不從0開始。這樣差距會(huì)看起來很大,增長(zhǎng)很大,但是如果把Y軸從0開始看的話,會(huì)顯得基本沒有差距。
數(shù)據(jù)分析提供的結(jié)果和建議不具有可行性
twitter通過分析文本數(shù)據(jù)發(fā)現(xiàn)。。。
算了,我編不出來,由此可見,不具有可行性的結(jié)果雖然是“理論正確‘的分析結(jié)果,然并卵。。。
別笑,據(jù)以前的校內(nèi)后來的人人現(xiàn)在不知道叫什么的 PM 說,這是真的。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
AI 浪潮下的生存與進(jìn)階: CDA數(shù)據(jù)分析師—開啟新時(shí)代職業(yè)生涯的鑰匙(深度研究報(bào)告、發(fā)展指導(dǎo)白皮書) 發(fā)布機(jī)構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04