
你是如何被“大數(shù)據(jù)”洗腦的
一家公司希望了解自家產(chǎn)品的用戶畫像,于是他們在產(chǎn)品包裝上印上自家小程序的二維碼,然后想辦法促使用戶去掃碼(比如掃碼查真?zhèn)?、掃碼學習食用方法等)。一旦用戶掃描二維碼,公司就能從后臺了解他們的基本信息,比如下圖就是對用戶年齡分布的統(tǒng)計結(jié)果:
(PS:出于保密需要,這里暫且放一張P過的圖來示意)
現(xiàn)在請問:哪個年齡段的人才是該產(chǎn)品的典型用戶?
對于這個問題,我一共聽到過三種答案:
那么,究竟哪種答案才更加正確呢?
我估計大部分人都會選第二種或者第三種吧?
最開始我也是這樣解讀的,認為該產(chǎn)品的典型用戶就是“年輕人”。(若按照國家統(tǒng)計局的標準,也就是15—34歲的人)
不過說實話,這個結(jié)論還真挺讓我驚訝。因為若根據(jù)我的常識來判斷的話,它的典型用戶應該是年紀稍大點的中年人才對。
該產(chǎn)品屬于健康食品,主打“排毒”“減肥”“降三高”“治便秘”“抗酸”的功效(你先別笑它賣點太多不夠聚焦,又不是走電視廣告的路子),而這些功能屬性,除“減肥”以外,我相信不少人都會跟我一樣——若用常識來判斷,它們應該更偏向中年人。
然而,數(shù)據(jù)結(jié)果卻與常識判斷相互矛盾…這時候,你到底該相信數(shù)據(jù)還是相信常識呢?
這是我最近在一個項目中遇到的一個問題,這個問題也的確讓我糾結(jié)了一段時間。因為一方面有人說“數(shù)據(jù)是不會撒謊的”,而另一方面又有人說“做調(diào)研,常識才更加重要”…
不過,當我想起以前看到過的一段故事之后,問題就變得相對明朗了。
1. 二戰(zhàn)的故事
在二戰(zhàn)期間,盟軍的戰(zhàn)斗機在戰(zhàn)斗中損失慘重,于是盟軍總部秘密召集了一批物理學家、數(shù)學家來專門研究“如何減少空軍被擊落的概率”。
當時軍方統(tǒng)計了所有返航飛機的中彈位置,發(fā)現(xiàn)機翼部分中彈比較密集,而機身和機尾的中彈比較稀疏,因此當時普遍的建議便是:應加強機翼部分的防護。
然而,統(tǒng)計學家沃德卻提出了一個完全相反的觀點,他認為應加強機身和機尾部分。
沃德教授說:“所有的樣本都是成功返航的飛機,也就是可能正是因為機翼遭到攻擊,機身和機尾沒有遭到密集的攻擊,所以才使得這些飛機能夠成功返航?!?
后來又經(jīng)過一系列有力的論證后,軍方果真采用了他的建議。事后也證明這的確是無比正確的決策,有效降低了空軍被擊落的概率。
這個故事講的就是所謂的「幸存者偏差」(Survivorship bias)
幸存者偏差是指:當取得資訊的渠道僅來自于幸存者時,此資訊可能會存在與實際情況不同的偏差。(因為死人不會說話)
那它跟之前用戶畫像的例子有什么關(guān)系呢?
關(guān)系很大。
雖然數(shù)據(jù)是不會撒謊的,但它只能展示出有數(shù)據(jù)(幸存者)的那部分信息,而無法展示沒有數(shù)據(jù)(陣亡者)的那部分信息,它是片面的。
翻譯到之前那個案例:如果僅憑掃過碼的用戶數(shù)據(jù)來判斷產(chǎn)品的用戶特征,其實是忽略了那些使用了產(chǎn)品但沒有掃碼的用戶的數(shù)據(jù)。畢竟,不是所有用了產(chǎn)品的人都一定會掃碼。
而這里有很多可能的因素會影響結(jié)果,比如:
總之,永遠不可能得到完整的數(shù)據(jù)樣本。
因此,回到文章最開始的問題——哪個年齡段的人才是該產(chǎn)品的典型用戶?
準確的答案應該是:無法僅通過該數(shù)據(jù)就得出結(jié)論。
是的,到目前為止,我依然更偏向于相信常識——認為中年人才是它的典型用戶。(估摸著至少也是30歲以上)
2. 洞穴之喻
柏拉圖曾在《理想國》的第七篇中,講了一個著名的比喻——洞穴之喻(Allegory of the Cave)
設(shè)想有個很深的洞穴,洞里有一些囚徒,他們生來就被鎖鏈束縛在洞穴之中,他們背向洞口,頭不能轉(zhuǎn)動,眼睛只能看著洞壁。
在他們后面砌有一道矮墻,墻和洞口之間燃燒著一堆火,一些人舉著各種器物沿著墻往來走動,如同木偶戲的屏風。當人們扛著各種器具走過墻后的小道,火光便把那些器物的影像投射到面前的洞壁上。
由于這些影像是洞中囚徒們唯一能見的事物,他們便以為這些影像就是這個世界真實的事物。
在現(xiàn)實生活中,數(shù)據(jù)就像該比喻中印在壁洞上的影像——它試圖利用低維的事物,去給人們描繪一個高維的東西。如果將洞壁的影像進行數(shù)據(jù)化處理,哪怕技術(shù)再先進,收集的數(shù)據(jù)再多,都難以讓洞穴人感知到一個真實的世界,因為他們看到的世界都被“降維處理”了。
而另一方面,常識又是什么?
不可否認的是:常識跟數(shù)據(jù)一樣,都是片面的。并且每個人的常識都不盡相同,質(zhì)量參差不齊。
不過這里想說的重點是:相比于數(shù)據(jù),常識能從更多得多的角度去分析一個事物。
因為人類的大腦很奇妙,它能把很多看似無關(guān)的事物聯(lián)系在一起。而這一點,是任何計算機都很難以數(shù)據(jù)的形式做到的。
舉個最簡單的例子:人們可通過觀察“一根筷子折得斷,十根筷子折不斷”的現(xiàn)象,悟出一個與之毫不相關(guān)的道理——團結(jié)就是力量。而同一個現(xiàn)象如果交給計算機去處理,那最后的結(jié)果就肯定只能與“材料”“扭矩”和“力度”等相關(guān)…
再比如邁克·亞當斯曾做過的一項研究,他發(fā)現(xiàn):美國大學生期中考試臨近時,奶奶去世的可能性是平時的10倍,而期末考試時是平時的19倍。(數(shù)據(jù)來自各高校收到的請假郵件和推遲交論文的申請)
若單看數(shù)據(jù),你也許會認為學生的學術(shù)壓力會對奶奶的健康造成影響(的確有科學家對此做過研究…);但若用常識去思考,那就很簡單了——為躲避考試,學生們編造了“奶奶去世”的請假借口。
這就是常識與數(shù)據(jù)的區(qū)別——常識是多維的,數(shù)據(jù)是單維的。
3. 數(shù)據(jù)不騙人,但它會坑人
數(shù)據(jù)真正的價值并不在于其統(tǒng)計或計算結(jié)果,而在于人們能對其做出正確的解讀。不過這很困難,尤其當你面對的是殘缺的數(shù)據(jù)。
就像我以前舉過的一個例子:
據(jù)《2017社會大學英雄榜》顯示,國內(nèi)登上胡潤百富榜的2000多位資產(chǎn)超二十億的富豪中,有一半的人都是低學歷。(PS,低學歷是指本科以下的學歷)
請問:從這條新聞中你能讀出什么結(jié)論?
我想肯定有很多人會認為:學歷的高低跟收入的確沒什么關(guān)系。
然而,這種解讀是錯的。
正確的解讀方式是什么呢?
應該是:中國在2016年末大約有13.8億人口,其中本科及以上的只有3800萬,本科以下則有13.42億——低學歷的人本來就比高學歷的人多得多(35倍),而它們進入榜單的人數(shù)基本相同。因此,擁有高學歷的人進入百富榜的概率,是低學歷的35倍。
在這個例子中,所有的數(shù)據(jù)都是真實的。但如果你只看到一部分數(shù)據(jù),而沒有看到其他數(shù)據(jù),那就很容易被數(shù)據(jù)給坑了,得出錯誤的結(jié)論。
當然,要想得出更加準確的結(jié)論,這里還需挖掘更多的數(shù)據(jù)。比如:
在這些富豪中,高學歷的收入與低學歷的收入的總體對比情況…
嗯,如果你不是專門學統(tǒng)計的,相信在加入這么多因素之后,一定會崩潰掉…不過你也不用慌,因為大部分情況下,你根本就沒有機會能知道這么詳盡的數(shù)據(jù)。
包括以數(shù)據(jù)著稱的新零售。為什么大部分新零售項目仍然在虧錢?其實就是因為它們的規(guī)模還沒有達到一定的量,數(shù)據(jù)的維度依然比較單一,“算”出來的東西依然不夠精準,所以效率的提升也就很有限了。
4. 小結(jié)一下
文章讀到這里,你也許會在心里嘀咕:小云兄你寫這篇文章,是不是想告訴我們數(shù)據(jù)是沒有用的呢?如果數(shù)據(jù)的結(jié)果都不夠準確,那什么才是準確的呢?
首先,這里并不是說數(shù)據(jù)沒有用,即使它是片面的。
所謂的要客觀看問題,并不是指你一定要掌握了所有數(shù)據(jù)之后才能下定論,而是要在下定論之前,盡量多方面了解一些數(shù)據(jù)和信息,無論它們本身多片面。
多了解一點,犯錯的幾率就會小一點,多看到一面,你離客觀的真相就更接近一點,這就是進步。
千萬不要試圖一下子解決所有的問題,或者以為一下子就得到準確的答案,因為這本身就是一種錯誤的價值觀,或者說癡人說夢。(所以你也不用糾結(jié)“什么才是準確的”了,根本就不存在)
知道自己還有不知道的,并在問題中不斷前進,這才是真正科學發(fā)展的思想。
相反的,如果僅憑單方面數(shù)據(jù)就武斷得出結(jié)論,并且篤定得不行,那無論數(shù)據(jù)樣本有多大,你的結(jié)論和真實情況都很可能是天差地別的。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(RNN)家族中,長短期記憶網(wǎng)絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網(wǎng)絡(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調(diào)研數(shù)據(jù)中的深度應用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03