
大數(shù)據(jù)會(huì)改變?nèi)祟愃季S
一講到大數(shù)據(jù),通常都會(huì)提到4個(gè)V:量大(Volume),積累速度高(Velocity),數(shù)據(jù)的產(chǎn)生多源化(Variety),數(shù)據(jù)籠統(tǒng)噪音大(Voracity)。然而,這些只是對(duì)大數(shù)據(jù)在互聯(lián)網(wǎng)時(shí)代超高速增長(zhǎng)現(xiàn)象的描述。大數(shù)據(jù)真正的意義和價(jià)值是它改變了我們的思維方式。這就是大數(shù)據(jù)思維。
大數(shù)據(jù)思維能使我們?cè)跊Q策過(guò)程中超越原有思維框架的局限。每個(gè)人都是依據(jù)自己對(duì)現(xiàn)實(shí)的認(rèn)識(shí)和判斷而不是現(xiàn)實(shí)本身作出行動(dòng)決策的。以數(shù)據(jù)為基礎(chǔ)的智能決策有兩個(gè)步驟。第一是對(duì)事物的理解和判斷,第二是作出行動(dòng)決策(不行動(dòng)也是一種決策)。行動(dòng)決策會(huì)受到?jīng)Q策者價(jià)值取向的影響。比如,二次大戰(zhàn)末美國(guó)打到日本沿岸并調(diào)集了比攻打德國(guó)時(shí)諾曼地登陸更多的軍艦云集太平洋準(zhǔn)備對(duì)日本本土發(fā)起攻擊。根據(jù)對(duì)攻占幾個(gè)日本島嶼所造成傷亡數(shù)據(jù)的分析,美軍預(yù)測(cè)攻占日本本土將要付出50萬(wàn)美軍傷亡的代價(jià)。在這個(gè)判斷的基礎(chǔ)上,美國(guó)總統(tǒng)杜魯門(mén)做出了向日本投原子彈的決定。結(jié)果是減少了美軍的傷亡但造成了幾十萬(wàn)日本平民的死亡和持續(xù)至今的輻射危害,其價(jià)值取向是很清楚的。
人們對(duì)事物的理解和判斷會(huì)受制于自身思維框架的局限。一個(gè)物理學(xué)家在分析一件事物時(shí),會(huì)很自然地應(yīng)用物理定律來(lái)思考、理解和判斷。所用的概念和語(yǔ)言也會(huì)有物理特征(時(shí)間、速度、場(chǎng)、重量、質(zhì)量、作用力、反作用力等等)。一個(gè)社會(huì)科學(xué)家在分析一件事物時(shí),腦子里出現(xiàn)的框架是人際關(guān)系、社會(huì)地位、歷史背景、社會(huì)效益等等。所用的概念和語(yǔ)言帶有社會(huì)人文特征。搞理論工作的和搞實(shí)際工作的思維框架也很不同,前者重視邏輯性、系統(tǒng)性,而后者更重視時(shí)間性和可行性。即使是同行業(yè)的人也會(huì)因年齡、經(jīng)歷、環(huán)境、學(xué)歷不同而產(chǎn)生不同的思維框架。當(dāng)同一現(xiàn)象和信息進(jìn)入不同人的腦子里時(shí),它會(huì)被不同的思維網(wǎng)路過(guò)濾、不同的思維方式處理,最后的結(jié)果是對(duì)同一現(xiàn)實(shí)產(chǎn)生不同解讀。沒(méi)有一個(gè)思維框架,我們無(wú)法理解和判斷一件事物。但思維框架本身又對(duì)我們的認(rèn)知產(chǎn)生了一個(gè)很難逾越的局限。
大數(shù)據(jù)思維不是從某個(gè)人的思維框架出發(fā),而是讓海量數(shù)據(jù)碰撞,尋找相關(guān)性,先看到結(jié)果再分析原因。這就沖破了原有思維框架的局限。比如,美國(guó)一家零售商在對(duì)海量的銷售數(shù)據(jù)處理中發(fā)現(xiàn)每到星期五下午,啤酒和嬰兒尿布的銷量同時(shí)上升。通過(guò)觀察發(fā)現(xiàn)星期五下班后很多青年男子要買(mǎi)啤酒度周末而這時(shí)妻子又常打電話提醒丈夫在回家路上為孩子買(mǎi)尿布。發(fā)現(xiàn)這個(gè)相關(guān)性后,這家零售商就把啤酒和尿布擺在一起,方便年輕的爸爸購(gòu)物,大大提高了銷售額。
大數(shù)據(jù)思維可以引發(fā)城市管理的新方法。自從美國(guó)大使館每天公布PM2.5指數(shù)以后,城市空氣污染的問(wèn)題得到了中國(guó)各個(gè)城市政府和市民的重視。每天PM2.5檢測(cè)數(shù)據(jù)的采集成為環(huán)境保護(hù)和管理的一個(gè)重要任務(wù)。如果一個(gè)統(tǒng)計(jì)學(xué)家按照原有思維框架來(lái)設(shè)計(jì)檢測(cè)數(shù)據(jù)采集,他會(huì)從統(tǒng)計(jì)學(xué)原理出發(fā)在市區(qū)有代表性的不同地點(diǎn)定時(shí)采集和上報(bào)數(shù)據(jù)。其結(jié)果是數(shù)據(jù)量有限,費(fèi)用高,檢測(cè)覆蓋率和準(zhǔn)確率低。應(yīng)用大數(shù)據(jù)思維,某市環(huán)保部門(mén)考慮將上萬(wàn)個(gè)手持檢測(cè)儀發(fā)放給散居各處的市民檢測(cè)并通過(guò)手機(jī)上傳數(shù)據(jù)。通過(guò)手機(jī)定位,環(huán)保部門(mén)可以確定每個(gè)數(shù)據(jù)的測(cè)量地點(diǎn)和時(shí)間,大大提高數(shù)據(jù)采集的覆蓋面和精確度。
大數(shù)據(jù)思維可以對(duì)歷史數(shù)據(jù)的分析提供新思路。中國(guó)人講究作學(xué)問(wèn)要“讀萬(wàn)卷書(shū),行萬(wàn)里路”。用大數(shù)據(jù)思維,讀萬(wàn)卷書(shū)在今天并非難事。美國(guó)的國(guó)會(huì)圖書(shū)館正在將藏書(shū)全部數(shù)碼化。以后通過(guò)電腦“看書(shū)”搜索關(guān)鍵詞,分析相關(guān)字條和數(shù)據(jù)將會(huì)非常容易,讀萬(wàn)卷書(shū)可能只是幾小時(shí)的“小任務(wù)”。美國(guó)匹茲堡大學(xué)公共衛(wèi)生學(xué)院將記錄在報(bào)紙、報(bào)告、微縮膠片上美國(guó)各地自1888年以來(lái)有關(guān)傳染病發(fā)生和死亡的多元、碎片、海量的數(shù)據(jù)收集、整理并數(shù)碼化。通過(guò)數(shù)據(jù)建模和分析,把一百多年的歷史“死”數(shù)據(jù)變活,建立了1888至2010年美國(guó)50多種傳染病電子數(shù)據(jù)檔案庫(kù)。用歷史數(shù)據(jù)證明了免疫苗的發(fā)明和使用避免了一億以上的美國(guó)人死于傳染病。(見(jiàn)下圖)
大數(shù)據(jù)思維能幫助開(kāi)創(chuàng)新的商業(yè)模式。在美國(guó)出現(xiàn)的Uber打車服務(wù)和后來(lái)中國(guó)興起的滴滴出行(原滴滴打車)是大數(shù)據(jù)思維產(chǎn)生的經(jīng)典020(網(wǎng)上網(wǎng)下完美結(jié)合)新型商業(yè)模式。智能手機(jī)在移動(dòng)互聯(lián)網(wǎng)時(shí)代的普及使實(shí)時(shí)定位的數(shù)據(jù)傳遞和信息溝通成為可能。它為乘客和司機(jī)之間的商業(yè)交換提供了一個(gè)嶄新的平臺(tái),改變了傳統(tǒng)的電話叫車或路邊招車,降低了溝通成本和空駛率,極大地節(jié)省了司機(jī)乘客雙方的資源和時(shí)間。源源不斷的乘車交易和時(shí)間地點(diǎn)的電子數(shù)據(jù)在高速地積累和儲(chǔ)存。數(shù)據(jù)科學(xué)家們可以通過(guò)對(duì)海量數(shù)據(jù)的分析尋找規(guī)律以提高和改進(jìn)乘客打車出行的體驗(yàn),找到新的商機(jī)和推出新的服務(wù)。
大數(shù)據(jù)思維的核心是要意識(shí)到我們已經(jīng)生活在一個(gè)互聯(lián)網(wǎng)幾乎無(wú)處不在的世界?;ヂ?lián)網(wǎng)將各種信息儀器(手機(jī)、電腦、傳感器、相機(jī)、攝像頭、等等)聯(lián)為一體(物聯(lián)網(wǎng)),數(shù)碼化的數(shù)據(jù)和信息在這個(gè)龐大的網(wǎng)上時(shí)時(shí)刻刻地傳遞、儲(chǔ)存和積累。數(shù)碼化數(shù)據(jù)可以被高速處理,而且已經(jīng)成為新型的、甚至是最有價(jià)值的生產(chǎn)資料。礦物可以冶煉成金屬、原油可以提煉出汽油,如何將數(shù)據(jù)加工成信息、產(chǎn)生智能、解決過(guò)去無(wú)法解決的老問(wèn)題和開(kāi)創(chuàng)新的管理和商業(yè)模式以產(chǎn)生新價(jià)值是對(duì)我們的挑戰(zhàn)。而迎接這一挑戰(zhàn)的第一步就是要懂得和理解大數(shù)據(jù)思維。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
訓(xùn)練與驗(yàn)證損失驟升:機(jī)器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機(jī)器學(xué)習(xí)模型訓(xùn)練過(guò)程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對(duì)數(shù)據(jù)的需求已從 “存儲(chǔ)” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計(jì)基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計(jì)基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語(yǔ)言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫(kù)表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無(wú)論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫(kù)管理中,“大表” 始終是性能優(yōu)化繞不開(kāi)的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開(kāi)始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤(pán)手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開(kāi)發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤(pán)手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問(wèn)題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問(wèn)題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問(wèn)題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過(guò)程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見(jiàn)頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷成為企業(yè)突圍的核心方 ...
2025-09-11