
數(shù)據(jù)分析中會(huì)常犯哪些錯(cuò)誤,如何解決的?
經(jīng)典的冰淇凌銷量和游泳溺水人數(shù)成正比的數(shù)據(jù),這并不能說明冰淇凌銷量的增加會(huì)導(dǎo)致更多的人溺水,而只能說明二者相關(guān),比如因?yàn)樘鞜崴远邤?shù)量都增加了。這個(gè)例子比較明顯,說起來可能會(huì)有人覺得怎么會(huì)有人犯這樣的錯(cuò)誤,然而在實(shí)際生活、學(xué)習(xí)、工作中,時(shí)不時(shí)的就會(huì)有人犯這樣的錯(cuò)誤。
舉個(gè)栗子
數(shù)據(jù)顯示,當(dāng)科比出手10-19次時(shí),湖人的勝率是71.5%;當(dāng)科比出手20-29次時(shí),湖人的勝率驟降到60.8%;而當(dāng)科比出手30次或者更多時(shí),湖人的勝率只有41.7%。
根據(jù)這組數(shù)據(jù),為了贏球,科比應(yīng)該少出手?并不一定如此。有可能科比出手少的時(shí)候是因?yàn)殛?duì)友狀態(tài)好,并不需要他出手太多。也有可能是因?yàn)榍蜿?duì)早早領(lǐng)先,垃圾時(shí)間太多。而出手太多的比賽是因?yàn)楸荣惼D難或者隊(duì)友狀態(tài)不好,需要他挺身而出。當(dāng)然,以上也只是可能之一,具體是什么情況光靠這組數(shù)據(jù)并不能得出任何結(jié)論。
-- 聲明:非科比粉,路人偏黑。
幸存者偏差 survivorship bias
數(shù)據(jù)分析中看到的樣本是“幸存了某些經(jīng)歷”才被觀察到的,進(jìn)而導(dǎo)致結(jié)論不正確。
比如比爾蓋茨、喬布斯、扎克伯格都沒有念完大學(xué),所以大家都應(yīng)該退學(xué)去創(chuàng)業(yè)。這一結(jié)論的最大問題在于那些退學(xué)而又沒有成功的例子,很多時(shí)候我們是看不到的。另一方面,他們是因?yàn)榕1撇磐藢W(xué),而不是退學(xué)才牛逼的,看,相關(guān)性/因果性真是限魂不散。
再比如 Uber 發(fā)現(xiàn)新用戶有10塊錢優(yōu)惠券,但是平均評(píng)價(jià)卻只有3星。相反,第二次再用的時(shí)候沒有優(yōu)惠券了,評(píng)價(jià)卻高達(dá)4星半。這說明,不給優(yōu)惠券用戶評(píng)價(jià)會(huì)更高,果然用戶雖然愛用優(yōu)惠券,但內(nèi)心還是覺得便宜沒好東西的?很明顯,幸存者偏差在這個(gè)例子里體現(xiàn)在那些打一星二星評(píng)價(jià)的用戶,之后可能就沒有第二次了。更明顯的,這個(gè)例子是我瞎扯的。
樣本跟整體存在著本質(zhì)的不同
以知乎為例,會(huì)有種錯(cuò)覺人人年薪百萬,985/211起,各種GFSBFM,天朝收入水平直逼灣區(qū)碼工。然而一方面這是幸存者偏差,知乎大V們的發(fā)聲更容易被看到(看,幸存者偏差也是陰魂不散)。另一方面,不要小瞧知乎跟天朝網(wǎng)民的差別,以及天朝網(wǎng)民跟天朝老百姓的差別--樣本跟整體的差別。
類似的例子有水木的工作版塊、步行街的收入和華人網(wǎng)站的貧困線。
過于追逐統(tǒng)計(jì)上的顯著性 statistical significance
統(tǒng)計(jì)101告訴我們,要比較兩組數(shù)是否不同,最基本的一點(diǎn)可以看它們的區(qū)別是不是統(tǒng)計(jì)上顯著。
比如 Linkedin 又要改版了(我為什么要說又呢),有兩個(gè)版本 A 和 B. 灰度測試發(fā)現(xiàn),跟現(xiàn)有版本比起來,A 的日活比現(xiàn)有版本高20%,但是統(tǒng)計(jì)不顯著。而 B 的日活跟現(xiàn)有版本雖然只高了3%,但是統(tǒng)計(jì)顯著。于是 PM 拿出統(tǒng)計(jì)101翻到第二頁說,來,咱們把統(tǒng)計(jì)顯著的版本 B 上線吧??啾频臄?shù)據(jù)科學(xué)家 DS 說,等一下!并不是所有時(shí)候都選統(tǒng)計(jì)顯著的那一個(gè),咱們?cè)倏纯窗姹?A 的數(shù)據(jù)吧(具體分析略過一萬字)。
很顯然,這個(gè)例子也是我瞎扯的。
不做數(shù)據(jù)可視化,以及更可怕的:做出錯(cuò)誤或者帶誤導(dǎo)性的數(shù)據(jù)可視化
比如 這個(gè)回答里提到的
「數(shù)據(jù)會(huì)說謊」的真實(shí)例子有哪些? - 謝科的回答
在趨勢圖中,為了說明增長趨勢多明顯,把Y調(diào)成不從0開始。這樣差距會(huì)看起來很大,增長很大,但是如果把Y軸從0開始看的話,會(huì)顯得基本沒有差距。
數(shù)據(jù)分析提供的結(jié)果和建議不具有可行性
twitter通過分析文本數(shù)據(jù)發(fā)現(xiàn)。。。
算了,我編不出來,由此可見,不具有可行性的結(jié)果雖然是“理論正確‘的分析結(jié)果,然并卵。。。
別笑,據(jù)以前的校內(nèi)后來的人人現(xiàn)在不知道叫什么的 PM 說,這是真的。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
訓(xùn)練與驗(yàn)證損失驟升:機(jī)器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機(jī)器學(xué)習(xí)模型訓(xùn)練過程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對(duì)數(shù)據(jù)的需求已從 “存儲(chǔ)” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計(jì)基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計(jì)基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營問題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11