
大數(shù)據(jù)認(rèn)識(shí)的4種思維
近年來(lái)大數(shù)據(jù)技術(shù)的快速發(fā)展深刻改變了我們的生活、工作和思維方式。大數(shù)據(jù)研究專(zhuān)家舍恩伯格指出,大數(shù)據(jù)時(shí)代,人們對(duì)待數(shù)據(jù)的思維方式會(huì)發(fā)生如下三個(gè)變化:第一,人們處理的數(shù)據(jù)從樣本數(shù)據(jù)變成全部數(shù)據(jù);第二,由于是全樣本數(shù)據(jù),人們不得不接受數(shù)據(jù)的混雜性,而放棄對(duì)精確性的追求;第三,人類(lèi)通過(guò)對(duì)大數(shù)據(jù)的處理,放棄對(duì)因果關(guān)系的渴求,轉(zhuǎn)而關(guān)注相關(guān)關(guān)系。事實(shí)上,大數(shù)據(jù)時(shí)代帶給人們的思維方式的深刻轉(zhuǎn)變遠(yuǎn)不止上述三個(gè)方面。筆者認(rèn)為,大數(shù)據(jù)思維最關(guān)鍵的轉(zhuǎn)變?cè)谟趶淖匀凰季S轉(zhuǎn)向智能思維,使得大數(shù)據(jù)像具有生命力一樣,獲得類(lèi)似于“人腦”的智能,甚至智慧。
(一)總體思維
社會(huì)科學(xué)研究社會(huì)現(xiàn)象的總體特征,以往采樣一直是主要數(shù)據(jù)獲取手段,這是人類(lèi)在無(wú)法獲得總體數(shù)據(jù)信息條件下的無(wú)奈選擇。在大數(shù)據(jù)時(shí)代,人們可以獲得與分析更多的數(shù)據(jù),甚至是與之相關(guān)的所有數(shù)據(jù),而不再依賴(lài)于采樣,從而可以帶來(lái)更全面的認(rèn)識(shí),可以更清楚地發(fā)現(xiàn)樣本無(wú)法揭示的細(xì)節(jié)信息。正如舍恩伯格總結(jié)道:“我們總是習(xí)慣把統(tǒng)計(jì)抽樣看作文明得以建立的牢固基石,就如同幾何學(xué)定理和萬(wàn)有引力定律一樣。但是,統(tǒng)計(jì)抽樣其實(shí)只是為了在技術(shù)受限的特定時(shí)期,解決當(dāng)時(shí)存在的一些特定問(wèn)題而產(chǎn)生的,其歷史不足一百年。如今,技術(shù)環(huán)境已經(jīng)有了很大的改善。在大數(shù)據(jù)時(shí)代進(jìn)行抽樣分析就像是在汽車(chē)時(shí)代騎馬一樣。在某些特定的情況下,我們依然可以使用樣本分析法,但這不再是我們分析數(shù)據(jù)的主要方式?!币簿褪钦f(shuō),在大數(shù)據(jù)時(shí)代,隨著數(shù)據(jù)收集、存儲(chǔ)、分析技術(shù)的突破性發(fā)展,我們可以更加方便、快捷、動(dòng)態(tài)地獲得研究對(duì)象有關(guān)的所有數(shù)據(jù),而不再因諸多限制不得不采用樣本研究方法,相應(yīng)地,思維方式也應(yīng)該從樣本思維轉(zhuǎn)向總體思維,從而能夠更加全面、立體、系統(tǒng)地認(rèn)識(shí)總體狀況。
(二)容錯(cuò)思維
在小數(shù)據(jù)時(shí)代,由于收集的樣本信息量比較少,所以必須確保記錄下來(lái)的數(shù)據(jù)盡量結(jié)構(gòu)化、精確化,否則,分析得出的結(jié)論在推及總體上就會(huì)“南轅北轍”,因此,就必須十分注重精確思維。然而,在大數(shù)據(jù)時(shí)代,得益于大數(shù)據(jù)技術(shù)的突破,大量的非結(jié)構(gòu)化、異構(gòu)化的數(shù)據(jù)能夠得到儲(chǔ)存和分析,這一方面提升了我們從數(shù)據(jù)中獲取知識(shí)和洞見(jiàn)的能力,另一方面也對(duì)傳統(tǒng)的精確思維造成了挑戰(zhàn)。舍恩伯格指出,“執(zhí)迷于精確性是信息缺乏時(shí)代和模擬時(shí)代的產(chǎn)物。只有5%的數(shù)據(jù)是結(jié)構(gòu)化且能適用于傳統(tǒng)數(shù)據(jù)庫(kù)的。如果不接受混亂,剩下95%的非結(jié)構(gòu)化數(shù)據(jù)都無(wú)法利用,只有接受不精確性,我們才能打開(kāi)一扇從未涉足的世界的窗戶”。也就是說(shuō),在大數(shù)據(jù)時(shí)代,思維方式要從精確思維轉(zhuǎn)向容錯(cuò)思維,當(dāng)擁有海量即時(shí)數(shù)據(jù)時(shí),絕對(duì)的精準(zhǔn)不再是追求的主要目標(biāo),適當(dāng)忽略微觀層面上的精確度,容許一定程度的錯(cuò)誤與混雜,反而可以在宏觀層面擁有更好的知識(shí)和洞察力。
(三)相關(guān)思維
在小數(shù)據(jù)世界中,人們往往執(zhí)著于現(xiàn)象背后的因果關(guān)系,試圖通過(guò)有限樣本數(shù)據(jù)來(lái)剖析其中的內(nèi)在機(jī)理。小數(shù)據(jù)的另一個(gè)缺陷就是有限的樣本數(shù)據(jù)無(wú)法反映出事物之間的普遍性的相關(guān)關(guān)系。而在大數(shù)據(jù)時(shí)代,人們可以通過(guò)大數(shù)據(jù)技術(shù)挖掘出事物之間隱蔽的相關(guān)關(guān)系,獲得更多的認(rèn)知與洞見(jiàn),運(yùn)用這些認(rèn)知與洞見(jiàn)就可以幫助我們捕捉現(xiàn)在和預(yù)測(cè)未來(lái),而建立在相關(guān)關(guān)系分析基礎(chǔ)上的預(yù)測(cè)正是大數(shù)據(jù)的核心議題。通過(guò)關(guān)注線性的相關(guān)關(guān)系,以及復(fù)雜的非線性相關(guān)關(guān)系,可以幫助人們看到很多以前不曾注意的聯(lián)系,還可以掌握以前無(wú)法理解的復(fù)雜技術(shù)和社會(huì)動(dòng)態(tài),相關(guān)關(guān)系甚至可以超越因果關(guān)系,成為我們了解這個(gè)世界的更好視角。舍恩伯格指出,大數(shù)據(jù)的出現(xiàn)讓人們放棄了對(duì)因果關(guān)系的渴求,轉(zhuǎn)而關(guān)注相關(guān)關(guān)系,人們只需知道“是什么”,而不用知道“為什么”。我們不必非得知道事物或現(xiàn)象背后的復(fù)雜深層原因,而只需要通過(guò)大數(shù)據(jù)分析獲知“是什么”就意義非凡,這會(huì)給我們提供非常新穎且有價(jià)值的觀點(diǎn)、信息和知識(shí)。也就是說(shuō),在大數(shù)據(jù)時(shí)代,思維方式要從因果思維轉(zhuǎn)向相關(guān)思維,努力顛覆千百年來(lái)人類(lèi)形成的傳統(tǒng)思維模式和固有偏見(jiàn),才能更好地分享大數(shù)據(jù)帶來(lái)的深刻洞見(jiàn)。
(四)智能思維
不斷提高機(jī)器的自動(dòng)化、智能化水平始終是人類(lèi)社會(huì)長(zhǎng)期不懈努力的方向。計(jì)算機(jī)的出現(xiàn)極大地推動(dòng)了自動(dòng)控制、人工智能和機(jī)器學(xué)習(xí)等新技術(shù)的發(fā)展,“機(jī)器人”研發(fā)也取得了突飛猛進(jìn)的成果并開(kāi)始一定應(yīng)用。應(yīng)該說(shuō),自進(jìn)入到信息社會(huì)以來(lái),人類(lèi)社會(huì)的自動(dòng)化、智能化水平已得到明顯提升,但始終面臨瓶頸而無(wú)法取得突破性進(jìn)展,機(jī)器的思維方式仍屬于線性、簡(jiǎn)單、物理的自然思維,智能水平仍不盡如人意。但是,大數(shù)據(jù)時(shí)代的到來(lái),可以為提升機(jī)器智能帶來(lái)契機(jī),因?yàn)榇髷?shù)據(jù)將有效推進(jìn)機(jī)器思維方式由自然思維轉(zhuǎn)向智能思維,這才是大數(shù)據(jù)思維轉(zhuǎn)變的關(guān)鍵所在、核心內(nèi)容。
眾所周知,人腦之所以具有智能、智慧,就在于它能夠?qū)χ茉獾臄?shù)據(jù)信息進(jìn)行全面收集、邏輯判斷和歸納總結(jié),獲得有關(guān)事物或現(xiàn)象的認(rèn)識(shí)與見(jiàn)解。同樣,在大數(shù)據(jù)時(shí)代,隨著物聯(lián)網(wǎng)、云計(jì)算、社會(huì)計(jì)算、可視技術(shù)等的突破發(fā)展,大數(shù)據(jù)系統(tǒng)也能夠自動(dòng)地搜索所有相關(guān)的數(shù)據(jù)信息,并進(jìn)而類(lèi)似“人腦”一樣主動(dòng)、立體、邏輯地分析數(shù)據(jù)、做出判斷、提供洞見(jiàn),那么,無(wú)疑也就具有了類(lèi)似人類(lèi)的智能思維能力和預(yù)測(cè)未來(lái)的能力?!爸悄?、智慧”是大數(shù)據(jù)時(shí)代的顯著特征,大數(shù)據(jù)時(shí)代的思維方式也要求從自然思維轉(zhuǎn)向智能思維,不斷提升機(jī)器或系統(tǒng)的社會(huì)計(jì)算能力和智能化水平,從而獲得具有洞察力和新價(jià)值的東西,甚至類(lèi)似于人類(lèi)的“智慧”。
舍恩伯格指出,“大數(shù)據(jù)開(kāi)啟了一個(gè)重大的時(shí)代轉(zhuǎn)型。就像望遠(yuǎn)鏡讓我們感受宇宙,顯微鏡讓我們能夠觀測(cè)到微生物一樣,大數(shù)據(jù)正在改變我們的生活以及理解世界的方式,成為新發(fā)明和新服務(wù)的源泉,而更多的改變正蓄勢(shì)待發(fā)”。大數(shù)據(jù)時(shí)代將帶來(lái)深刻的思維轉(zhuǎn)變,大數(shù)據(jù)不僅將改變每個(gè)人的日常生活和工作方式,改變商業(yè)組織和社會(huì)組織的運(yùn)行方式,而且將從根本上奠定國(guó)家和社會(huì)治理的基礎(chǔ)數(shù)據(jù),徹底改變長(zhǎng)期以來(lái)國(guó)家與社會(huì)諸多領(lǐng)域存在的“不可治理”狀況,使得國(guó)家和社會(huì)治理更加透明、有效和智慧。不斷成為企業(yè)、社會(huì)和國(guó)家層面重要的戰(zhàn)略資源,成為機(jī)構(gòu)的資產(chǎn),成為提升機(jī)構(gòu)和公司競(jìng)爭(zhēng)力的有力武器。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無(wú)論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫(kù)管理中,“大表” 始終是性能優(yōu)化繞不開(kāi)的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫(kù)表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開(kāi)始提取前,需先判斷 TIF 文件的類(lèi)型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專(zhuān)業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專(zhuān)業(yè)操盤(pán)手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開(kāi)發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤(pán)手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問(wèn)題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問(wèn)題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問(wèn)題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過(guò)程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷(xiāo)案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見(jiàn)頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷(xiāo)成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動(dòng)決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類(lèi)分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場(chǎng)景中,聚類(lèi)分析作為 “無(wú)監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡(jiǎn)單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10