
數(shù)據(jù)不會(huì)說謊__5大常見統(tǒng)計(jì)偏倚
每項(xiàng)重要的研究背后都離不開好的數(shù)據(jù),是它們使分析成為可能。而每項(xiàng)不好的研究背后嘛……這個(gè) 后面會(huì)說。人們常說“用數(shù)據(jù)說謊”,我要說往往數(shù)據(jù)分析是沒問題的,但這些分析卻是建立在夸大或不實(shí)的數(shù)據(jù)之上。下面便是幾個(gè)常見的“錯(cuò)進(jìn)錯(cuò)出”案例。
選擇偏倚
《紐約客》資深影評(píng)人寶琳?凱爾(Pauline Kael)據(jù)稱曾經(jīng)在理查德?尼克松(Richard
Nixon)當(dāng)選美國總統(tǒng)后評(píng)論:“尼克松不可能贏了競選,我認(rèn)識(shí)的人里面沒一個(gè)投了他?!边@句話很有可能是杜撰的,但卻很好地說明了糟糕的樣本(一群自
由派朋友)會(huì)如何給更大的群體帶來錯(cuò)誤的偏見(全美國的投票結(jié)果)。而這也引出了我們應(yīng)該問自己的問題:如何選擇評(píng)估樣本?如果要接受評(píng)估的群體的每一個(gè)
成員沒有均等的機(jī)會(huì)入選樣本,那么最終得出的結(jié)論就將會(huì)有偏頗。以愛荷華州的民意測驗(yàn)為例,這是美國總統(tǒng)競選中的一項(xiàng)慣例,在總統(tǒng)大選年的8月,也就是正
式投票的前一個(gè)月,共和黨的候選人會(huì)來到愛荷華州的埃姆斯市(Ames)籠絡(luò)選民,選民每個(gè)人支付30美元投上一票以參與表決。愛荷華州的民意測驗(yàn)結(jié)果并
不能告訴我們共和黨候選人的未來。(該調(diào)查的預(yù)測在過去5次大選中只說對(duì)了3次共和黨提名候選人的結(jié)果。)為什么?因?yàn)橹Ц?0美元投票參與這項(xiàng)民意測驗(yàn)
的愛荷華州共和黨選民跟愛荷華州的其他共和黨選民不同,而愛荷華州的共和黨選民又跟美國其他地區(qū)的共和黨選民不同。
“尼克松不可能贏了競選,我認(rèn)識(shí)的人里面沒一個(gè)投了他?!?/i>
選擇偏倚還有其他很多種形式。在機(jī)場做消費(fèi)者問卷調(diào)查很可能造成偏倚,因?yàn)樽w機(jī)的人大體上會(huì)比一般人更富裕;而在
90號(hào)洲際公路上做同樣的調(diào)查問卷結(jié)果又會(huì)偏向另一端。而兩項(xiàng)調(diào)查都有可能出現(xiàn)的偏倚則是那些愿意在公共場合接受問卷調(diào)查的人不同于那些不愿意被打擾的
人。如果你在公共場合問100個(gè)人做一份簡短的調(diào)查,其中只有60人愿意,那么這60個(gè)人跟剩下40個(gè)看都不看你一眼就走開的人在某些地方有著顯著的不
同。
發(fā)表偏倚
正面的結(jié)果比負(fù)面的更有可能得到發(fā)表,而這可能會(huì)混淆我們最終所見到的結(jié)論。假設(shè)你剛剛做完了一次嚴(yán)謹(jǐn)?shù)淖粉櫿{(diào)查,
得出結(jié)論認(rèn)為玩視頻游戲不能預(yù)防結(jié)腸癌。在這項(xiàng)調(diào)查中,你花了20年的時(shí)間跟蹤訪問了作為代表性樣本的10萬個(gè)美國人;這些人當(dāng)中,長時(shí)間玩視頻游戲的跟
不玩兒視頻游戲的罹患結(jié)腸癌的幾率基本一致。我們假設(shè)你的研究方法完美無缺。但哪家醫(yī)學(xué)期刊會(huì)發(fā)表你的研究結(jié)論呢?
“大多數(shù)活動(dòng)都不能預(yù)防結(jié)腸癌?!?/i>
答案是沒有。原因有二:第一,沒有有力的科學(xué)理由認(rèn)為玩兒視頻游戲?qū)Y(jié)腸癌有什么影響,因此你研究這個(gè)的意義不明;其次,也是更重要的一點(diǎn),某件事情不能預(yù)防結(jié)腸癌不是什么有趣的發(fā)現(xiàn)。畢竟,大多數(shù)東西都不能預(yù)防結(jié)腸癌。否定的結(jié)論尤其不性感,不論是在醫(yī)療領(lǐng)域還是其他。
而兩相抵消,就對(duì)我們看到的研究(或者說看不到的)產(chǎn)生了偏倚。假設(shè)你的研究生同學(xué)經(jīng)過另一項(xiàng)追蹤調(diào)查得出了不同的
結(jié)論,她發(fā)現(xiàn)玩視頻游戲的人確實(shí)罹患結(jié)腸癌的幾率較小。現(xiàn)在就有意思多了!醫(yī)學(xué)期刊要的就是這樣的論文,大眾媒體、博客寫手,還有視頻游戲的制作商(他們
巴不得在自己產(chǎn)品的包裝上標(biāo)注玩游戲有益身體健康),都在尋找這樣的內(nèi)容。要不了多久,全美國的虎媽們就會(huì)紛紛奪過自己孩子手里的書本,轉(zhuǎn)而逼迫他們玩游
戲來“保護(hù)”下一代免于癌癥困擾了。
當(dāng)然,統(tǒng)計(jì)學(xué)里反復(fù)強(qiáng)調(diào)的一個(gè)論點(diǎn)是,異乎尋常的事情時(shí)而發(fā)生,這只是概率問題。如果你進(jìn)行100次調(diào)查,其中有一
次很可能會(huì)出現(xiàn)純屬無稽的結(jié)果——就像玩視頻游戲和結(jié)腸癌患病率低之間的數(shù)據(jù)關(guān)聯(lián)。而問題在于:99次發(fā)現(xiàn)玩游戲跟患結(jié)腸癌無關(guān)的研究都得不到發(fā)表,因?yàn)?
它們沒有意思,而那一次發(fā)現(xiàn)兩者有關(guān)聯(lián)的研究卻被印刷出來,迎來了眾多關(guān)注。偏倚的源頭并不在于研究本身,但傳達(dá)給公眾的信息卻是偏頗的。而研讀視頻游戲
和癌癥關(guān)聯(lián)的研究者只能發(fā)現(xiàn)一篇論文,而這篇論文表明的卻是玩視頻游戲能預(yù)防癌癥。實(shí)際上,100項(xiàng)研究里有99項(xiàng)都找不出二者之間有任何關(guān)聯(lián)。
回憶偏倚
記憶是件奇妙的東西——盡管不能總算作優(yōu)質(zhì)數(shù)據(jù)的來源。人類天生就有沖動(dòng)將現(xiàn)狀理解成過去發(fā)生的事情合乎邏輯的結(jié)
果,也就是因果關(guān)系。問題出在當(dāng)我們?cè)噲D去解釋某些當(dāng)前特別好或者特別糟糕的結(jié)果時(shí),記憶就會(huì)變得“系統(tǒng)性的不堪一擊”。例如一項(xiàng)研究飲食和癌癥之間的關(guān)
系的研究。1993年,一名哈佛大學(xué)的研究者構(gòu)建了一組罹患乳腺癌的婦女和沒有被診斷出癌癥的年齡匹配組女性的數(shù)據(jù)。研究人員分別詢問了這兩組女性的早年
飲食習(xí)慣。研究得出了清晰的結(jié)論:患有乳腺癌的婦女在年輕時(shí)有更顯著的可能擁有高脂肪的飲食。
哈,不過,這實(shí)際上不是在研究飲食習(xí)慣對(duì)罹患癌癥幾率有什么影響。這項(xiàng)研究真正調(diào)查的是患上癌癥如何影響了女性對(duì)自
己早年飲食習(xí)慣的記憶。所有參與這項(xiàng)研究的女性都在多年以前,在任何人都沒有被診斷患有癌癥的時(shí)候,填寫了關(guān)于其飲食習(xí)慣的調(diào)查問卷。研究的結(jié)果十分驚
人,患有乳腺癌的婦女回想自己過去飲食攝入的脂肪的含量比她們實(shí)際消耗的要多得多;沒有患癌癥的女性則沒有出現(xiàn)這種情況。
《紐約時(shí)報(bào)雜志》在描述這種記憶偏倚的隱秘本質(zhì)時(shí)稱:
罹患乳腺癌不僅改變了一位女性的當(dāng)下和未來;它連她的過去也
改變了。患有乳腺癌的女性(無意識(shí)地)認(rèn)為高脂飲食可能是她們患病的易感原因,并且(無意識(shí)地)認(rèn)為自己過去有高脂的飲食習(xí)慣。對(duì)于任何了解這種恥辱病的
歷史的人而言,這一模式都熟悉得令人悲傷:和她們之前成千上萬的女性一樣,這些女性在她們自己的記憶里尋找原因,并將這個(gè)原因放置在記憶里。”
回憶偏倚是也是追蹤研究往往偏向于橫向研究(cross-sectional
studies)的一個(gè)原因。在橫向研究里,數(shù)據(jù)是同時(shí)采集的。在5歲的時(shí)候,參與者會(huì)被問及他對(duì)學(xué)校的態(tài)度。然后,再過13年,我們可以重訪參與者,看
他是否高中輟學(xué)。在橫向研究中,所有的數(shù)據(jù)都在同一時(shí)間點(diǎn)采集,研究者必須詢問18歲的高中輟學(xué)生他5歲時(shí)對(duì)學(xué)校有何看法,而這一信息固然便是不怎么可靠
的。
存活者誤差
假設(shè)一名高中校長報(bào)告說,學(xué)生中的一組特定人群在4年中(編注:美國高中有4年)考試成績穩(wěn)步上升。這批人高二的得
分比他們?cè)诟咭粫r(shí)的成績好。高三那年的分?jǐn)?shù)更好,高四達(dá)到了最好。我們假定不存在作弊的情況,也沒有任何創(chuàng)造性地運(yùn)用描述性的統(tǒng)計(jì)數(shù)據(jù)。無論用什么評(píng)價(jià)標(biāo)
準(zhǔn),這批學(xué)生每一年都比前一年做得更好:平均數(shù)、中位數(shù)、學(xué)生在年級(jí)水平的百分比等等。你會(huì)(A)提名這所學(xué)校的領(lǐng)導(dǎo)為“年度最佳校長”還是(B)要求提
供更多的數(shù)據(jù)?
“如果你有一屋子高矮不齊的人,強(qiáng)迫最矮的那個(gè)離開房間會(huì)使整個(gè)房間的平均身高上升,但這樣做并不會(huì)使任何人的身高變高?!?/i>
我的話就會(huì)選(B)。我嗅到了存活者誤差的貓膩,這種情況下樣本中去掉了一些或很多觀測數(shù)據(jù),以至于改變了整個(gè)剩下
的觀測結(jié)果,因而任何基于剩余觀測數(shù)據(jù)所做的分析也受了影響。假設(shè)我們的校長真不是個(gè)好人:他學(xué)校里的學(xué)生啥也沒學(xué)到;每年都有半數(shù)人輟學(xué)。不過,這在數(shù)
學(xué)的考試分?jǐn)?shù)上面看起來很是漂亮——但沒有任何一名學(xué)生實(shí)際上考得更好。有理可測,學(xué)得最差的學(xué)生(也是考試分?jǐn)?shù)最低的學(xué)生)最有可能輟學(xué),那么考試分?jǐn)?shù)
的平均分會(huì)隨著更多學(xué)生輟學(xué)而穩(wěn)步上升。(如果你有一屋子高矮不齊的人,強(qiáng)迫最矮的那個(gè)離開房間會(huì)使整個(gè)房間的平均身高上升,但這樣做并不會(huì)使任何人的身
高變高。)
健康用戶誤差
每天按時(shí)吃維生素片的人更有可能身體健康——他們是每天都按時(shí)吃維生素的人!而至于維生素是否真的有益健康這又另當(dāng)
別論了。
想想這樣一個(gè)思考實(shí)驗(yàn)。假設(shè)公共衛(wèi)生官員頒布這樣一條聲明,所有的剛生了小孩兒的夫妻都能該把自己的孩子裹在紫色的睡衣里睡覺,因?yàn)檫@有助于刺激大腦的發(fā)
育。20年后,追蹤研究證實(shí),幼年時(shí)期穿紫色睡衣確實(shí)與今后人生中取得成功有一個(gè)特別大的正相關(guān)。比方說,我們發(fā)現(xiàn),98%考上哈佛大學(xué)的新生孩童時(shí)期都
穿著紫色的睡衣(現(xiàn)在許多人仍然這樣做),相比之下,馬薩諸塞州監(jiān)獄系統(tǒng)里的囚犯只有3%年幼時(shí)穿紫色睡衣。
“紫色睡衣并不重要?!?/i>
當(dāng)然,紫色睡衣并不重要,但擁有那種會(huì)讓孩子穿紫色睡衣的父母卻十分重要。就算試圖控制父母教育這樣的因素,研究者
仍然會(huì)面臨那些執(zhí)著于讓孩子穿紫色睡衣和不穿的父母之間不可觀測的差異。正如《紐約時(shí)報(bào)》健康專欄作家加里?陶布斯(Gary
Taubes)解釋說,“簡單地說,問題就是踏踏實(shí)實(shí)做那些對(duì)他們有好處的事情——比如按醫(yī)囑服藥或吃他們認(rèn)為有益健康的食物——的人,跟那些不這樣做的
人有著根本上的不同?!边@種效應(yīng)有可能擾亂任何試圖評(píng)估那些被視為有益健康的活動(dòng)(比如每周運(yùn)動(dòng)或吃羽衣甘藍(lán))真實(shí)效果的研究。研究人員以為他們是在比較
兩種飲食習(xí)慣對(duì)健康的影響:吃羽衣甘藍(lán)和不吃甘藍(lán)。但事實(shí)上,假如治療組和對(duì)照組不是隨機(jī)分配的,那么他們?cè)诒容^兩種不同的人吃兩種不同的飲食,治療組和
對(duì)照組的不同有兩個(gè)方面,而不是僅僅一個(gè)。
如果說統(tǒng)計(jì)學(xué)家"數(shù)據(jù)分析師"是偵探,那么數(shù)據(jù)就是線索。我的妻子在新罕布什爾郊區(qū)的高中教了一年書。她的一個(gè)學(xué)生因?yàn)殛J入一家五
金店盜竊工具而被逮捕歸案,而警察之所以能破案是因?yàn)椋海?)天剛剛下雪,從五金店到學(xué)生的家里的雪上有足跡;(2)在學(xué)生家里找到了被盜的工具。好線索
幫了大忙。
就跟好數(shù)據(jù)一樣。但首先,你得有好的數(shù)據(jù),否則一切都是空。 數(shù)據(jù)分析師
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營問題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動(dòng)決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10