
你是如何被“大數(shù)據(jù)”洗腦的
一家公司希望了解自家產(chǎn)品的用戶畫像,于是他們在產(chǎn)品包裝上印上自家小程序的二維碼,然后想辦法促使用戶去掃碼(比如掃碼查真?zhèn)?、掃碼學習食用方法等)。一旦用戶掃描二維碼,公司就能從后臺了解他們的基本信息,比如下圖就是對用戶年齡分布的統(tǒng)計結(jié)果:
(PS:出于保密需要,這里暫且放一張P過的圖來示意)
現(xiàn)在請問:哪個年齡段的人才是該產(chǎn)品的典型用戶?
對于這個問題,我一共聽到過三種答案:
那么,究竟哪種答案才更加正確呢?
我估計大部分人都會選第二種或者第三種吧?
最開始我也是這樣解讀的,認為該產(chǎn)品的典型用戶就是“年輕人”。(若按照國家統(tǒng)計局的標準,也就是15—34歲的人)
不過說實話,這個結(jié)論還真挺讓我驚訝。因為若根據(jù)我的常識來判斷的話,它的典型用戶應(yīng)該是年紀稍大點的中年人才對。
該產(chǎn)品屬于健康食品,主打“排毒”“減肥”“降三高”“治便秘”“抗酸”的功效(你先別笑它賣點太多不夠聚焦,又不是走電視廣告的路子),而這些功能屬性,除“減肥”以外,我相信不少人都會跟我一樣——若用常識來判斷,它們應(yīng)該更偏向中年人。
然而,數(shù)據(jù)結(jié)果卻與常識判斷相互矛盾…這時候,你到底該相信數(shù)據(jù)還是相信常識呢?
這是我最近在一個項目中遇到的一個問題,這個問題也的確讓我糾結(jié)了一段時間。因為一方面有人說“數(shù)據(jù)是不會撒謊的”,而另一方面又有人說“做調(diào)研,常識才更加重要”…
不過,當我想起以前看到過的一段故事之后,問題就變得相對明朗了。
1. 二戰(zhàn)的故事
在二戰(zhàn)期間,盟軍的戰(zhàn)斗機在戰(zhàn)斗中損失慘重,于是盟軍總部秘密召集了一批物理學家、數(shù)學家來專門研究“如何減少空軍被擊落的概率”。
當時軍方統(tǒng)計了所有返航飛機的中彈位置,發(fā)現(xiàn)機翼部分中彈比較密集,而機身和機尾的中彈比較稀疏,因此當時普遍的建議便是:應(yīng)加強機翼部分的防護。
然而,統(tǒng)計學家沃德卻提出了一個完全相反的觀點,他認為應(yīng)加強機身和機尾部分。
沃德教授說:“所有的樣本都是成功返航的飛機,也就是可能正是因為機翼遭到攻擊,機身和機尾沒有遭到密集的攻擊,所以才使得這些飛機能夠成功返航?!?
后來又經(jīng)過一系列有力的論證后,軍方果真采用了他的建議。事后也證明這的確是無比正確的決策,有效降低了空軍被擊落的概率。
這個故事講的就是所謂的「幸存者偏差」(Survivorship bias)
幸存者偏差是指:當取得資訊的渠道僅來自于幸存者時,此資訊可能會存在與實際情況不同的偏差。(因為死人不會說話)
那它跟之前用戶畫像的例子有什么關(guān)系呢?
關(guān)系很大。
雖然數(shù)據(jù)是不會撒謊的,但它只能展示出有數(shù)據(jù)(幸存者)的那部分信息,而無法展示沒有數(shù)據(jù)(陣亡者)的那部分信息,它是片面的。
翻譯到之前那個案例:如果僅憑掃過碼的用戶數(shù)據(jù)來判斷產(chǎn)品的用戶特征,其實是忽略了那些使用了產(chǎn)品但沒有掃碼的用戶的數(shù)據(jù)。畢竟,不是所有用了產(chǎn)品的人都一定會掃碼。
而這里有很多可能的因素會影響結(jié)果,比如:
總之,永遠不可能得到完整的數(shù)據(jù)樣本。
因此,回到文章最開始的問題——哪個年齡段的人才是該產(chǎn)品的典型用戶?
準確的答案應(yīng)該是:無法僅通過該數(shù)據(jù)就得出結(jié)論。
是的,到目前為止,我依然更偏向于相信常識——認為中年人才是它的典型用戶。(估摸著至少也是30歲以上)
2. 洞穴之喻
柏拉圖曾在《理想國》的第七篇中,講了一個著名的比喻——洞穴之喻(Allegory of the Cave)
設(shè)想有個很深的洞穴,洞里有一些囚徒,他們生來就被鎖鏈束縛在洞穴之中,他們背向洞口,頭不能轉(zhuǎn)動,眼睛只能看著洞壁。
在他們后面砌有一道矮墻,墻和洞口之間燃燒著一堆火,一些人舉著各種器物沿著墻往來走動,如同木偶戲的屏風。當人們扛著各種器具走過墻后的小道,火光便把那些器物的影像投射到面前的洞壁上。
由于這些影像是洞中囚徒們唯一能見的事物,他們便以為這些影像就是這個世界真實的事物。
在現(xiàn)實生活中,數(shù)據(jù)就像該比喻中印在壁洞上的影像——它試圖利用低維的事物,去給人們描繪一個高維的東西。如果將洞壁的影像進行數(shù)據(jù)化處理,哪怕技術(shù)再先進,收集的數(shù)據(jù)再多,都難以讓洞穴人感知到一個真實的世界,因為他們看到的世界都被“降維處理”了。
而另一方面,常識又是什么?
不可否認的是:常識跟數(shù)據(jù)一樣,都是片面的。并且每個人的常識都不盡相同,質(zhì)量參差不齊。
不過這里想說的重點是:相比于數(shù)據(jù),常識能從更多得多的角度去分析一個事物。
因為人類的大腦很奇妙,它能把很多看似無關(guān)的事物聯(lián)系在一起。而這一點,是任何計算機都很難以數(shù)據(jù)的形式做到的。
舉個最簡單的例子:人們可通過觀察“一根筷子折得斷,十根筷子折不斷”的現(xiàn)象,悟出一個與之毫不相關(guān)的道理——團結(jié)就是力量。而同一個現(xiàn)象如果交給計算機去處理,那最后的結(jié)果就肯定只能與“材料”“扭矩”和“力度”等相關(guān)…
再比如邁克·亞當斯曾做過的一項研究,他發(fā)現(xiàn):美國大學生期中考試臨近時,奶奶去世的可能性是平時的10倍,而期末考試時是平時的19倍。(數(shù)據(jù)來自各高校收到的請假郵件和推遲交論文的申請)
若單看數(shù)據(jù),你也許會認為學生的學術(shù)壓力會對奶奶的健康造成影響(的確有科學家對此做過研究…);但若用常識去思考,那就很簡單了——為躲避考試,學生們編造了“奶奶去世”的請假借口。
這就是常識與數(shù)據(jù)的區(qū)別——常識是多維的,數(shù)據(jù)是單維的。
3. 數(shù)據(jù)不騙人,但它會坑人
數(shù)據(jù)真正的價值并不在于其統(tǒng)計或計算結(jié)果,而在于人們能對其做出正確的解讀。不過這很困難,尤其當你面對的是殘缺的數(shù)據(jù)。
就像我以前舉過的一個例子:
據(jù)《2017社會大學英雄榜》顯示,國內(nèi)登上胡潤百富榜的2000多位資產(chǎn)超二十億的富豪中,有一半的人都是低學歷。(PS,低學歷是指本科以下的學歷)
請問:從這條新聞中你能讀出什么結(jié)論?
我想肯定有很多人會認為:學歷的高低跟收入的確沒什么關(guān)系。
然而,這種解讀是錯的。
正確的解讀方式是什么呢?
應(yīng)該是:中國在2016年末大約有13.8億人口,其中本科及以上的只有3800萬,本科以下則有13.42億——低學歷的人本來就比高學歷的人多得多(35倍),而它們進入榜單的人數(shù)基本相同。因此,擁有高學歷的人進入百富榜的概率,是低學歷的35倍。
在這個例子中,所有的數(shù)據(jù)都是真實的。但如果你只看到一部分數(shù)據(jù),而沒有看到其他數(shù)據(jù),那就很容易被數(shù)據(jù)給坑了,得出錯誤的結(jié)論。
當然,要想得出更加準確的結(jié)論,這里還需挖掘更多的數(shù)據(jù)。比如:
在這些富豪中,高學歷的收入與低學歷的收入的總體對比情況…
嗯,如果你不是專門學統(tǒng)計的,相信在加入這么多因素之后,一定會崩潰掉…不過你也不用慌,因為大部分情況下,你根本就沒有機會能知道這么詳盡的數(shù)據(jù)。
包括以數(shù)據(jù)著稱的新零售。為什么大部分新零售項目仍然在虧錢?其實就是因為它們的規(guī)模還沒有達到一定的量,數(shù)據(jù)的維度依然比較單一,“算”出來的東西依然不夠精準,所以效率的提升也就很有限了。
4. 小結(jié)一下
文章讀到這里,你也許會在心里嘀咕:小云兄你寫這篇文章,是不是想告訴我們數(shù)據(jù)是沒有用的呢?如果數(shù)據(jù)的結(jié)果都不夠準確,那什么才是準確的呢?
首先,這里并不是說數(shù)據(jù)沒有用,即使它是片面的。
所謂的要客觀看問題,并不是指你一定要掌握了所有數(shù)據(jù)之后才能下定論,而是要在下定論之前,盡量多方面了解一些數(shù)據(jù)和信息,無論它們本身多片面。
多了解一點,犯錯的幾率就會小一點,多看到一面,你離客觀的真相就更接近一點,這就是進步。
千萬不要試圖一下子解決所有的問題,或者以為一下子就得到準確的答案,因為這本身就是一種錯誤的價值觀,或者說癡人說夢。(所以你也不用糾結(jié)“什么才是準確的”了,根本就不存在)
知道自己還有不知道的,并在問題中不斷前進,這才是真正科學發(fā)展的思想。
相反的,如果僅憑單方面數(shù)據(jù)就武斷得出結(jié)論,并且篤定得不行,那無論數(shù)據(jù)樣本有多大,你的結(jié)論和真實情況都很可能是天差地別的。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價值 在數(shù)據(jù)驅(qū)動決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實踐到業(yè)務(wù)價值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價值導向 統(tǒng)計模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10