大數(shù)據(jù)帶來的四種思維_數(shù)據(jù)分析師培訓

近年來大數(shù)據(jù)技術的快速發(fā)展深刻改變了我們的生活、工作和思維方式。大數(shù)據(jù)研究專家舍恩伯格指出，大數(shù)據(jù)時代，人們對待數(shù)據(jù)的思維方式會發(fā)生如下三個變化：第一，人們處理的數(shù)據(jù)從樣本數(shù)據(jù)變成全部數(shù)據(jù)；第二，由于是全樣本數(shù)據(jù)，人們不得不接受數(shù)據(jù)的混雜性，而放棄對精確性的追求；第三，人類通過對大數(shù)據(jù)的處理，放棄對因果關系的渴求，轉而關注相關關系。事實上，大數(shù)據(jù)時代帶給人們的思維方式的深刻轉變遠不止上述三個方面。筆者認為，大數(shù)據(jù)思維最關鍵的轉變在于從自然思維轉向智能思維，使得大數(shù)據(jù)像具有生命力一樣，獲得類似于“人腦”的智能，甚至智慧。

　　總體思維

　　社會科學研究社會現(xiàn)象的總體特征，以往采樣一直是主要數(shù)據(jù)獲取手段，這是人類在無法獲得總體數(shù)據(jù)信息條件下的無奈選擇。在大數(shù)據(jù)時代，人們可以獲得與分析更多的數(shù)據(jù)，甚至是與之相關的所有數(shù)據(jù)，而不再依賴于采樣，從而可以帶來更全面的認識，可以更清楚地發(fā)現(xiàn)樣本無法揭示的細節(jié)信息。正如舍恩伯格總結道：“我們總是習慣把統(tǒng)計抽樣看作文明得以建立的牢固基石，就如同幾何學定理和萬有引力定律一樣。但是，統(tǒng)計抽樣其實只是為了在技術受限的特定時期，解決當時存在的一些特定問題而產生的，其歷史不足一百年。如今，技術環(huán)境已經有了很大的改善。在大數(shù)據(jù)時代進行抽樣分析就像是在汽車時代騎馬一樣。在某些特定的情況下，我們依然可以使用樣本分析法，但這不再是我們分析數(shù)據(jù)的主要方式?！币簿褪钦f，在大數(shù)據(jù)時代，隨著數(shù)據(jù)收集、存儲、分析技術的突破性發(fā)展，我們可以更加方便、快捷、動態(tài)地獲得研究對象有關的所有數(shù)據(jù)，而不再因諸多限制不得不采用樣本研究方法，相應地，思維方式也應該從樣本思維轉向總體思維，從而能夠更加全面、立體、系統(tǒng)地認識總體狀況。

　　容錯思維

　　在小數(shù)據(jù)時代，由于收集的樣本信息量比較少，所以必須確保記錄下來的數(shù)據(jù)盡量結構化、精確化，否則，分析得出的結論在推及總體上就會“南轅北轍”，因此，就必須十分注重精確思維。然而，在大數(shù)據(jù)時代，得益于大數(shù)據(jù)技術的突破，大量的非結構化、異構化的數(shù)據(jù)能夠得到儲存和分析，這一方面提升了我們從數(shù)據(jù)中獲取知識和洞見的能力，另一方面也對傳統(tǒng)的精確思維造成了挑戰(zhàn)。舍恩伯格指出，“執(zhí)迷于精確性是信息缺乏時代和模擬時代的產物。只有5%的數(shù)據(jù)是結構化且能適用于傳統(tǒng)數(shù)據(jù)庫的。如果不接受混亂，剩下95%的非結構化數(shù)據(jù)都無法利用，只有接受不精確性，我們才能打開一扇從未涉足的世界的窗戶”。也就是說，在大數(shù)據(jù)時代，思維方式要從精確思維轉向容錯思維，當擁有海量即時數(shù)據(jù)時，絕對的精準不再是追求的主要目標，適當忽略微觀層面上的精確度，容許一定程度的錯誤與混雜，反而可以在宏觀層面擁有更好的知識和洞察力。

　　相關思維

　在小數(shù)據(jù)世界中，人們往往執(zhí)著于現(xiàn)象背后的因果關系，試圖通過有限樣本數(shù)據(jù)來剖析其中的內在機理。小數(shù)據(jù)的另一個缺陷就是有限的樣本數(shù)據(jù)無法反映出事物之間的普遍性的相關關系。而在大數(shù)據(jù)時代，人們可以通過大數(shù)據(jù)技術挖掘出事物之間隱蔽的相關關系，獲得更多的認知與洞見，運用這些認知與洞見就可以幫助我們捕捉現(xiàn)在和預測未來，而建立在相關關系分析基礎上的預測正是大數(shù)據(jù)的核心議題。通過關注線性的相關關系，以及復雜的非線性相關關系，可以幫助人們看到很多以前不曾注意的聯(lián)系，還可以掌握以前無法理解的復雜技術和社會動態(tài)，相關關系甚至可以超越因果關系，成為我們了解這個世界的更好視角。舍恩伯格指出，大數(shù)據(jù)的出現(xiàn)讓人們放棄了對因果關系的渴求，轉而關注相關關系，人們只需知道“是什么”，而不用知道“為什么”。我們不必非得知道事物或現(xiàn)象背后的復雜深層原因，而只需要通過大數(shù)據(jù)分析獲知“是什么”就意義非凡，這會給我們提供非常新穎且有價值的觀點、信息和知識。也就是說，在大數(shù)據(jù)時代，思維方式要從因果思維轉向相關思維，努力顛覆千百年來人類形成的傳統(tǒng)思維模式和固有偏見，才能更好地分享大數(shù)據(jù)帶來的深刻洞見。

　　智能思維

　　不斷提高機器的自動化、智能化水平始終是人類社會長期不懈努力的方向。計算機的出現(xiàn)極大地推動了自動控制、人工智能和機器學習等新技術的發(fā)展，“機器人”研發(fā)也取得了突飛猛進的成果并開始一定應用。應該說，自進入到信息社會以來，人類社會的自動化、智能化水平已得到明顯提升，但始終面臨瓶頸而無法取得突破性進展，機器的思維方式仍屬于線性、簡單、物理的自然思維，智能水平仍不盡如人意。但是，大數(shù)據(jù)時代的到來，可以為提升機器智能帶來契機，因為大數(shù)據(jù)將有效推進機器思維方式由自然思維轉向智能思維，這才是大數(shù)據(jù)思維轉變的關鍵所在、核心內容。眾所周知，人腦之所以具有智能、智慧，就在于它能夠對周遭的數(shù)據(jù)信息進行全面收集、邏輯判斷和歸納總結，獲得有關事物或現(xiàn)象的認識與見解。同樣，在大數(shù)據(jù)時代，隨著物聯(lián)網、云計算、社會計算、可視技術等的突破發(fā)展，大數(shù)據(jù)系統(tǒng)也能夠自動地搜索所有相關的數(shù)據(jù)信息，并進而類似“人腦”一樣主動、立體、邏輯地分析數(shù)據(jù)、做出判斷、提供洞見，那么，無疑也就具有了類似人類的智能思維能力和預測未來的能力?！爸悄?、智慧”是大數(shù)據(jù)時代的顯著特征，大數(shù)據(jù)時代的思維方式也要求從自然思維轉向智能思維，不斷提升機器或系統(tǒng)的社會計算能力和智能化水平，從而獲得具有洞察力和新價值的東西，甚至類似于人類的“智慧”。

　　舍恩伯格指出，“大數(shù)據(jù)開啟了一個重大的時代轉型。就像望遠鏡讓我們感受宇宙，顯微鏡讓我們能夠觀測到微生物一樣，大數(shù)據(jù)正在改變我們的生活以及理解世界的方式，成為新發(fā)明和新服務的源泉，而更多的改變正蓄勢待發(fā)”。大數(shù)據(jù)時代將帶來深刻的思維轉變，大數(shù)據(jù)不僅將改變每個人的日常生活和工作方式，改變商業(yè)組織和社會組織的運行方式，而且將從根本上奠定國家和社會治理的基礎數(shù)據(jù)，徹底改變長期以來國家與社會諸多領域存在的“不可治理”狀況，使得國家和社會治理更加透明、有效和智慧。