
大數(shù)據(jù)會改變?nèi)藗兊乃季S
一講到大數(shù)據(jù),通常都會提到4個V:量大(Volume),積累速度高(Velocity),數(shù)據(jù)的產(chǎn)生多源化(Variety),數(shù)據(jù)籠統(tǒng)噪音大(Voracity)。然而,這些只是對大數(shù)據(jù)在互聯(lián)網(wǎng)時代超高速增長現(xiàn)象的描述。大數(shù)據(jù)真正的意義和價值是它改變了我們的思維方式。這就是大數(shù)據(jù)思維。
大數(shù)據(jù)思維能使我們在決策過程中超越原有思維框架的局限。每個人都是依據(jù)自己對現(xiàn)實的認識和判斷而不是現(xiàn)實本身作出行動決策的。以數(shù)據(jù)為基礎(chǔ)的智能決策有兩個步驟。第一是對事物的理解和判斷,第二是作出行動決策(不行動也是一種決策)。行動決策會受到?jīng)Q策者價值取向的影響。比如,二次大戰(zhàn)末美國打到日本沿岸并調(diào)集了比攻打德國時諾曼地登陸更多的軍艦云集太平洋準(zhǔn)備對日本本土發(fā)起攻擊。根據(jù)對攻占幾個日本島嶼所造成傷亡數(shù)據(jù)的分析,美軍預(yù)測攻占日本本土將要付出50萬美軍傷亡的代價。在這個判斷的基礎(chǔ)上,美國總統(tǒng)杜魯門做出了向日本投原子彈的決定。結(jié)果是減少了美軍的傷亡但造成了幾十萬日本平民的死亡和持續(xù)至今的輻射危害,其價值取向是很清楚的。
人們對事物的理解和判斷會受制于自身思維框架的局限。一個物理學(xué)家在分析一件事物時,會很自然地應(yīng)用物理定律來思考、理解和判斷。所用的概念和語言也會有物理特征(時間、速度、場、重量、質(zhì)量、作用力、反作用力等等)。一個社會科學(xué)家在分析一件事物時,腦子里出現(xiàn)的框架是人際關(guān)系、社會地位、歷史背景、社會效益等等。所用的概念和語言帶有社會人文特征。搞理論工作的和搞實際工作的思維框架也很不同,前者重視邏輯性、系統(tǒng)性,而后者更重視時間性和可行性。即使是同行業(yè)的人也會因年齡、經(jīng)歷、環(huán)境、學(xué)歷不同而產(chǎn)生不同的思維框架。當(dāng)同一現(xiàn)象和信息進入不同人的腦子里時,它會被不同的思維網(wǎng)路過濾、不同的思維方式處理,最后的結(jié)果是對同一現(xiàn)實產(chǎn)生不同解讀。沒有一個思維框架,我們無法理解和判斷一件事物。但思維框架本身又對我們的認知產(chǎn)生了一個很難逾越的局限。
大數(shù)據(jù)思維不是從某個人的思維框架出發(fā),而是讓海量數(shù)據(jù)碰撞,尋找相關(guān)性,先看到結(jié)果再分析原因。這就沖破了原有思維框架的局限。比如,美國一家零售商在對海量的銷售數(shù)據(jù)處理中發(fā)現(xiàn)每到星期五下午,啤酒和嬰兒尿布的銷量同時上升。通過觀察發(fā)現(xiàn)星期五下班后很多青年男子要買啤酒度周末而這時妻子又常打電話提醒丈夫在回家路上為孩子買尿布。發(fā)現(xiàn)這個相關(guān)性后,這家零售商就把啤酒和尿布擺在一起,方便年輕的爸爸購物,大大提高了銷售額。
大數(shù)據(jù)思維可以引發(fā)城市管理的新方法。自從美國大使館每天公布PM2.5指數(shù)以后,城市空氣污染的問題得到了中國各個城市政府和市民的重視。每天PM2.5檢測數(shù)據(jù)的采集成為環(huán)境保護和管理的一個重要任務(wù)。如果一個統(tǒng)計學(xué)家按照原有思維框架來設(shè)計檢測數(shù)據(jù)采集,他會從統(tǒng)計學(xué)原理出發(fā)在市區(qū)有代表性的不同地點定時采集和上報數(shù)據(jù)。其結(jié)果是數(shù)據(jù)量有限,費用高,檢測覆蓋率和準(zhǔn)確率低。應(yīng)用大數(shù)據(jù)思維,某市環(huán)保部門考慮將上萬個手持檢測儀發(fā)放給散居各處的市民檢測并通過手機上傳數(shù)據(jù)。通過手機定位,環(huán)保部門可以確定每個數(shù)據(jù)的測量地點和時間,大大提高數(shù)據(jù)采集的覆蓋面和精確度。
大數(shù)據(jù)思維可以對歷史數(shù)據(jù)的分析提供新思路。中國人講究作學(xué)問要“讀萬卷書,行萬里路”。用大數(shù)據(jù)思維,讀萬卷書在今天并非難事。美國的國會圖書館正在將藏書全部數(shù)碼化。以后通過電腦“看書”搜索關(guān)鍵詞,分析相關(guān)字條和數(shù)據(jù)將會非常容易,讀萬卷書可能只是幾小時的“小任務(wù)”。美國匹茲堡大學(xué)公共衛(wèi)生學(xué)院將記錄在報紙、報告、微縮膠片上美國各地自1888年以來有關(guān)傳染病發(fā)生和死亡的多元、碎片、海量的數(shù)據(jù)收集、整理并數(shù)碼化。通過數(shù)據(jù)建模和分析,把一百多年的歷史“死”數(shù)據(jù)變活,建立了1888至2010年美國50多種傳染病電子數(shù)據(jù)檔案庫。用歷史數(shù)據(jù)證明了免疫苗的發(fā)明和使用避免了一億以上的美國人死于傳染病。(見下圖)
大數(shù)據(jù)思維能幫助開創(chuàng)新的商業(yè)模式。在美國出現(xiàn)的Uber打車服務(wù)和后來中國興起的滴滴出行(原滴滴打車)是大數(shù)據(jù)思維產(chǎn)生的經(jīng)典020(網(wǎng)上網(wǎng)下完美結(jié)合)新型商業(yè)模式。智能手機在移動互聯(lián)網(wǎng)時代的普及使實時定位的數(shù)據(jù)傳遞和信息溝通成為可能。它為乘客和司機之間的商業(yè)交換提供了一個嶄新的平臺,改變了傳統(tǒng)的電話叫車或路邊招車,降低了溝通成本和空駛率,極大地節(jié)省了司機乘客雙方的資源和時間。源源不斷的乘車交易和時間地點的電子數(shù)據(jù)在高速地積累和儲存。數(shù)據(jù)科學(xué)家們可以通過對海量數(shù)據(jù)的分析尋找規(guī)律以提高和改進乘客打車出行的體驗,找到新的商機和推出新的服務(wù)。
大數(shù)據(jù)思維的核心是要意識到我們已經(jīng)生活在一個互聯(lián)網(wǎng)幾乎無處不在的世界?;ヂ?lián)網(wǎng)將各種信息儀器(手機、電腦、傳感器、相機、攝像頭、等等)聯(lián)為一體(物聯(lián)網(wǎng)),數(shù)碼化的數(shù)據(jù)和信息在這個龐大的網(wǎng)上時時刻刻地傳遞、儲存和積累。數(shù)碼化數(shù)據(jù)可以被高速處理,而且已經(jīng)成為新型的、甚至是最有價值的生產(chǎn)資料。礦物可以冶煉成金屬、原油可以提煉出汽油,如何將數(shù)據(jù)加工成信息、產(chǎn)生智能、解決過去無法解決的老問題和開創(chuàng)新的管理和商業(yè)模式以產(chǎn)生新價值是對我們的挑戰(zhàn)。而迎接這一挑戰(zhàn)的第一步就是要懂得和理解大數(shù)據(jù)思維。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
訓(xùn)練與驗證損失驟升:機器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機器學(xué)習(xí)模型訓(xùn)練過程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對數(shù)據(jù)的需求已從 “存儲” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11