
數(shù)據(jù)的局限:大數(shù)據(jù)分析不能告訴你什么
大數(shù)據(jù)分析的擁護者竭盡全力地鼓吹“數(shù)據(jù)驅(qū)動”,明智的人應該謹慎對待,并明確兩個問題。一,業(yè)務人員在制定特定決策時是否真正理解相關數(shù)據(jù),是否曾經(jīng)以實用且可行的方式向管理層展示了這些數(shù)據(jù)?二,是否所有決策都有必要在收集“所有數(shù)據(jù)”之后自動完成?
在《認清風險:如何作出好決策》(Risk Savvy: How to Make Good Decisions)中,德國柏林Max Planck人類發(fā)展研究所管理主管Gerd Gigerenzer闡述了公共環(huán)境中風險測量與決策過程的問題,他的觀點同樣適用于商業(yè)領域。
首先,我們看看Gigerenzer舉的一些例子。它們說明了大多數(shù)人所獲得的統(tǒng)計數(shù)據(jù)只是很小一部分,而且我們很容易因為數(shù)據(jù)的不正確性或明顯誤用而產(chǎn)生錯誤結(jié)論。
在911事件的一年時間里,成千上萬的美國人放棄乘坐飛機,轉(zhuǎn)而選擇開車長途遠行,因為他們害怕遇到相同的襲擊。高速公路行駛距離因此增長了5%,而道路交通意外死亡人數(shù)在一年里逐月上升,已經(jīng)超過了過去五年的平均水平。此外,粗略計算有約1,600人喪身交通意外,而航空旅客及空乘人員的傷亡人數(shù)只有256人,其中還包括911事件的傷亡數(shù)字。
由于對當時傷亡事件產(chǎn)生了主觀反應,美國公眾完全忽視了有效的統(tǒng)計風險測量結(jié)果,即飛機的安全系數(shù)要遠遠高于汽車。
1995年,英國醫(yī)藥安全委員會發(fā)布了一系列研究結(jié)果,服用第三代口服避孕藥的人患血栓癥的概率是普通人的兩倍。這個研究結(jié)果很快傳遍全世界。醫(yī)生與藥劑師向婦女傳達了由預期結(jié)論得出的警告信息:意外懷孕與妊辰激增。接下來的一年時間里,僅僅在英格蘭和威爾士流產(chǎn)案例預計增加了13,000人次。
盡管這些專家都經(jīng)過科學和醫(yī)學培訓,但是他們嚴重忽視或忽略一個結(jié)果:絕對風險數(shù)量增加一倍才只有7000人次,也遠遠不及由懷孕與流產(chǎn)導致的血栓癥風險。因此,相同的數(shù)據(jù)有兩種描述方式:一是風險率相對增長100%,二是絕對增長數(shù)量為7,000。前者很容易占據(jù)新聞頭條和引起公眾跟風。而后者則不會造成太大影響,但是可能會避免很多痛苦。
Gigerenzer的書還有很多這樣的故事,如果你有興趣了解人們解讀數(shù)字數(shù)據(jù)的方式及使用(或不使用)這些數(shù)字作為決策依據(jù)的方式,那么這本書很值得你閱讀。事實是,即使經(jīng)過科學訓練,只有極少數(shù)人能夠正確理解這個領域。因此,我們?nèi)鄙賲^(qū)分不同風險表達方式及不確定性的能力,也缺乏一些幫助理解所得到結(jié)果的培訓。對于世界上的一些概念,我們很容易陷入偏見或先入為主的錯誤理解方式。
當我們從“少量數(shù)據(jù)”世界(掌握簡單算術(shù)就足夠應付)過渡到充斥大數(shù)據(jù)統(tǒng)計的世界時,數(shù)據(jù)誤解產(chǎn)生的危害也出現(xiàn)指數(shù)增長。無論自助服務商業(yè)智能有多厲害,它們也無法輕松擴展變成自助服務商業(yè)分析。業(yè)務用戶(及許多數(shù)據(jù)科學家)都需要在理解和展示統(tǒng)計數(shù)據(jù)方面加強自身的能力。
除了技能問題,還有一個更根本的問題,而911事件關于航空旅行方式的態(tài)度改變就是一個最好的例子。我將這種現(xiàn)象稱為商業(yè)不智能(Business unIntelligence),并且在我的同名圖書中提出了這個術(shù)語。按照西方商業(yè)思維方式,智慧幾乎可以完全等同于合理和理智思想,特別是在決策過程中。這忽略了大腦的現(xiàn)實情況及其思維過程,其中有90%的想法是無意識發(fā)生的。決策很少是由數(shù)據(jù)驅(qū)動的,特別是那些會對個人產(chǎn)生影響或需要快速響應的決策。
心理學家及諾貝爾經(jīng)濟學獎得主Daniel Kahneman在他寫的書《快思考與慢思考》中闡述了這個話題,但是他落入唯理性主義者的圈套,后者認為無意識思維源于有意識思維。這樣就得出了一些結(jié)論:我們很容易作出一些嚴重錯誤且非常容易受外界干擾的決策,而且總是在有意識地保護自己?;蛘吒鼔牡那闆r是,一些專制政府可能且總是會“迫使”我們作出一些有利于自身的決策。
當然,自我意識也很重要。然而,如果認為我們新進化的小小前額可以或應該完全超越大多數(shù)大腦的長期進化但潛意識發(fā)生的感知,那么這是極其短視的。這種感知對于現(xiàn)實世界的決策過程有很多影響——形式包括內(nèi)在感受、直覺、有根據(jù)的揣測和探索,而它們會忽略得到的大部分數(shù)據(jù)。如果只關注于收集和堆砌不斷增多的數(shù)據(jù),那么我們就有迷失的風險。
在不確定的世界里,有一些事件是無法預測的,基于數(shù)據(jù)分析出來的概率只能讓人得到一個決策。2008年金融領域發(fā)生的事件表明,過份依賴于預測風險模型是災難性的,因為有一些東西不在模型參數(shù)的覆蓋范圍之內(nèi)。Gigerenzer指出:“問題在于不正確的風險測量:這些方法錯誤地假定不確定的世界里有已知的風險。因為這些計算為一個不確定的風險產(chǎn)生了精確的數(shù)字,因此它們會產(chǎn)生一個虛假的確定性。”
在決策過程中完全依賴數(shù)據(jù)驅(qū)動或分析工具本身具有內(nèi)在的危險性。人類決策者所帶來的價值是他能夠看到環(huán)境和理解業(yè)務環(huán)境。這些洞察力并不能完全由參數(shù)來描述。當然,它們也來源于一些信息:思想認識中的舊記憶或新思維模式。但是,它們大多數(shù)都基于計算機科學遠遠無法理解的思維處理模型,計算機還完全無法模擬出思維。這是一個寶貴的東西。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
訓練與驗證損失驟升:機器學習訓練中的異常診斷與解決方案 在機器學習模型訓練過程中,“損失曲線” 是反映模型學習狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對數(shù)據(jù)的需求已從 “存儲” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計基本概念成為業(yè)務決策的底層邏輯 統(tǒng)計基本概念是商業(yè)數(shù)據(jù)分析的 “基礎語言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預期算子的內(nèi)涵、作用與應用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應用 在數(shù)據(jù)分析與統(tǒng)計學領域,假設檢驗是驗證研究假設、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務邏輯:從規(guī)則拆解到數(shù)據(jù)把關的實戰(zhàn)指南 在業(yè)務系統(tǒng)落地過程中,“業(yè)務邏輯” 是連接 “需求設計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11