
大數(shù)據(jù)認(rèn)識的4種思維
近年來大數(shù)據(jù)技術(shù)的快速發(fā)展深刻改變了我們的生活、工作和思維方式。大數(shù)據(jù)研究專家舍恩伯格指出,大數(shù)據(jù)時代,人們對待數(shù)據(jù)的思維方式會發(fā)生如下三個變化:第一,人們處理的數(shù)據(jù)從樣本數(shù)據(jù)變成全部數(shù)據(jù);第二,由于是全樣本數(shù)據(jù),人們不得不接受數(shù)據(jù)的混雜性,而放棄對精確性的追求;第三,人類通過對大數(shù)據(jù)的處理,放棄對因果關(guān)系的渴求,轉(zhuǎn)而關(guān)注相關(guān)關(guān)系。事實上,大數(shù)據(jù)時代帶給人們的思維方式的深刻轉(zhuǎn)變遠(yuǎn)不止上述三個方面。筆者認(rèn)為,大數(shù)據(jù)思維最關(guān)鍵的轉(zhuǎn)變在于從自然思維轉(zhuǎn)向智能思維,使得大數(shù)據(jù)像具有生命力一樣,獲得類似于“人腦”的智能,甚至智慧。
(一)總體思維
社會科學(xué)研究社會現(xiàn)象的總體特征,以往采樣一直是主要數(shù)據(jù)獲取手段,這是人類在無法獲得總體數(shù)據(jù)信息條件下的無奈選擇。在大數(shù)據(jù)時代,人們可以獲得與分析更多的數(shù)據(jù),甚至是與之相關(guān)的所有數(shù)據(jù),而不再依賴于采樣,從而可以帶來更全面的認(rèn)識,可以更清楚地發(fā)現(xiàn)樣本無法揭示的細(xì)節(jié)信息。正如舍恩伯格總結(jié)道:“我們總是習(xí)慣把統(tǒng)計抽樣看作文明得以建立的牢固基石,就如同幾何學(xué)定理和萬有引力定律一樣。但是,統(tǒng)計抽樣其實只是為了在技術(shù)受限的特定時期,解決當(dāng)時存在的一些特定問題而產(chǎn)生的,其歷史不足一百年。如今,技術(shù)環(huán)境已經(jīng)有了很大的改善。在大數(shù)據(jù)時代進(jìn)行抽樣分析就像是在汽車時代騎馬一樣。在某些特定的情況下,我們依然可以使用樣本分析法,但這不再是我們分析數(shù)據(jù)的主要方式?!币簿褪钦f,在大數(shù)據(jù)時代,隨著數(shù)據(jù)收集、存儲、分析技術(shù)的突破性發(fā)展,我們可以更加方便、快捷、動態(tài)地獲得研究對象有關(guān)的所有數(shù)據(jù),而不再因諸多限制不得不采用樣本研究方法,相應(yīng)地,思維方式也應(yīng)該從樣本思維轉(zhuǎn)向總體思維,從而能夠更加全面、立體、系統(tǒng)地認(rèn)識總體狀況。
(二)容錯思維
在小數(shù)據(jù)時代,由于收集的樣本信息量比較少,所以必須確保記錄下來的數(shù)據(jù)盡量結(jié)構(gòu)化、精確化,否則,分析得出的結(jié)論在推及總體上就會“南轅北轍”,因此,就必須十分注重精確思維。然而,在大數(shù)據(jù)時代,得益于大數(shù)據(jù)技術(shù)的突破,大量的非結(jié)構(gòu)化、異構(gòu)化的數(shù)據(jù)能夠得到儲存和分析,這一方面提升了我們從數(shù)據(jù)中獲取知識和洞見的能力,另一方面也對傳統(tǒng)的精確思維造成了挑戰(zhàn)。舍恩伯格指出,“執(zhí)迷于精確性是信息缺乏時代和模擬時代的產(chǎn)物。只有5%的數(shù)據(jù)是結(jié)構(gòu)化且能適用于傳統(tǒng)數(shù)據(jù)庫的。如果不接受混亂,剩下95%的非結(jié)構(gòu)化數(shù)據(jù)都無法利用,只有接受不精確性,我們才能打開一扇從未涉足的世界的窗戶”。也就是說,在大數(shù)據(jù)時代,思維方式要從精確思維轉(zhuǎn)向容錯思維,當(dāng)擁有海量即時數(shù)據(jù)時,絕對的精準(zhǔn)不再是追求的主要目標(biāo),適當(dāng)忽略微觀層面上的精確度,容許一定程度的錯誤與混雜,反而可以在宏觀層面擁有更好的知識和洞察力。
(三)相關(guān)思維
在小數(shù)據(jù)世界中,人們往往執(zhí)著于現(xiàn)象背后的因果關(guān)系,試圖通過有限樣本數(shù)據(jù)來剖析其中的內(nèi)在機(jī)理。小數(shù)據(jù)的另一個缺陷就是有限的樣本數(shù)據(jù)無法反映出事物之間的普遍性的相關(guān)關(guān)系。而在大數(shù)據(jù)時代,人們可以通過大數(shù)據(jù)技術(shù)挖掘出事物之間隱蔽的相關(guān)關(guān)系,獲得更多的認(rèn)知與洞見,運用這些認(rèn)知與洞見就可以幫助我們捕捉現(xiàn)在和預(yù)測未來,而建立在相關(guān)關(guān)系分析基礎(chǔ)上的預(yù)測正是大數(shù)據(jù)的核心議題。通過關(guān)注線性的相關(guān)關(guān)系,以及復(fù)雜的非線性相關(guān)關(guān)系,可以幫助人們看到很多以前不曾注意的聯(lián)系,還可以掌握以前無法理解的復(fù)雜技術(shù)和社會動態(tài),相關(guān)關(guān)系甚至可以超越因果關(guān)系,成為我們了解這個世界的更好視角。舍恩伯格指出,大數(shù)據(jù)的出現(xiàn)讓人們放棄了對因果關(guān)系的渴求,轉(zhuǎn)而關(guān)注相關(guān)關(guān)系,人們只需知道“是什么”,而不用知道“為什么”。我們不必非得知道事物或現(xiàn)象背后的復(fù)雜深層原因,而只需要通過大數(shù)據(jù)分析獲知“是什么”就意義非凡,這會給我們提供非常新穎且有價值的觀點、信息和知識。也就是說,在大數(shù)據(jù)時代,思維方式要從因果思維轉(zhuǎn)向相關(guān)思維,努力顛覆千百年來人類形成的傳統(tǒng)思維模式和固有偏見,才能更好地分享大數(shù)據(jù)帶來的深刻洞見。
(四)智能思維
不斷提高機(jī)器的自動化、智能化水平始終是人類社會長期不懈努力的方向。計算機(jī)的出現(xiàn)極大地推動了自動控制、人工智能和機(jī)器學(xué)習(xí)等新技術(shù)的發(fā)展,“機(jī)器人”研發(fā)也取得了突飛猛進(jìn)的成果并開始一定應(yīng)用。應(yīng)該說,自進(jìn)入到信息社會以來,人類社會的自動化、智能化水平已得到明顯提升,但始終面臨瓶頸而無法取得突破性進(jìn)展,機(jī)器的思維方式仍屬于線性、簡單、物理的自然思維,智能水平仍不盡如人意。但是,大數(shù)據(jù)時代的到來,可以為提升機(jī)器智能帶來契機(jī),因為大數(shù)據(jù)將有效推進(jìn)機(jī)器思維方式由自然思維轉(zhuǎn)向智能思維,這才是大數(shù)據(jù)思維轉(zhuǎn)變的關(guān)鍵所在、核心內(nèi)容。
眾所周知,人腦之所以具有智能、智慧,就在于它能夠?qū)χ茉獾臄?shù)據(jù)信息進(jìn)行全面收集、邏輯判斷和歸納總結(jié),獲得有關(guān)事物或現(xiàn)象的認(rèn)識與見解。同樣,在大數(shù)據(jù)時代,隨著物聯(lián)網(wǎng)、云計算、社會計算、可視技術(shù)等的突破發(fā)展,大數(shù)據(jù)系統(tǒng)也能夠自動地搜索所有相關(guān)的數(shù)據(jù)信息,并進(jìn)而類似“人腦”一樣主動、立體、邏輯地分析數(shù)據(jù)、做出判斷、提供洞見,那么,無疑也就具有了類似人類的智能思維能力和預(yù)測未來的能力?!爸悄堋⒅腔邸笔谴髷?shù)據(jù)時代的顯著特征,大數(shù)據(jù)時代的思維方式也要求從自然思維轉(zhuǎn)向智能思維,不斷提升機(jī)器或系統(tǒng)的社會計算能力和智能化水平,從而獲得具有洞察力和新價值的東西,甚至類似于人類的“智慧”。
舍恩伯格指出,“大數(shù)據(jù)開啟了一個重大的時代轉(zhuǎn)型。就像望遠(yuǎn)鏡讓我們感受宇宙,顯微鏡讓我們能夠觀測到微生物一樣,大數(shù)據(jù)正在改變我們的生活以及理解世界的方式,成為新發(fā)明和新服務(wù)的源泉,而更多的改變正蓄勢待發(fā)”。大數(shù)據(jù)時代將帶來深刻的思維轉(zhuǎn)變,大數(shù)據(jù)不僅將改變每個人的日常生活和工作方式,改變商業(yè)組織和社會組織的運行方式,而且將從根本上奠定國家和社會治理的基礎(chǔ)數(shù)據(jù),徹底改變長期以來國家與社會諸多領(lǐng)域存在的“不可治理”狀況,使得國家和社會治理更加透明、有效和智慧。不斷成為企業(yè)、社會和國家層面重要的戰(zhàn)略資源,成為機(jī)構(gòu)的資產(chǎn),成為提升機(jī)構(gòu)和公司競爭力的有力武器。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03