大數(shù)據(jù)時代需要大數(shù)據(jù)思維_數(shù)據(jù)分析師考試

大數(shù)據(jù)研究專家維克托·邁爾-舍恩伯格有一句名言：世界的本質(zhì)是數(shù)據(jù)。他認(rèn)為，認(rèn)識大數(shù)據(jù)之前，世界原本就是一個數(shù)據(jù)時代；認(rèn)識大數(shù)據(jù)之后，世界卻不可避免地分為大數(shù)據(jù)時代、小數(shù)據(jù)時代。

　　那么，究竟什么是大數(shù)據(jù)呢？麥肯錫全球研究所給出的定義是：一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價值密度低四大特征。在軍事領(lǐng)域，大數(shù)據(jù)時代的變革絕不限于技術(shù)層面，本質(zhì)上，它為我們觀察世界提供了一種全新思維。

　　從樣本思維轉(zhuǎn)向總體思維。人類研究戰(zhàn)爭的規(guī)律特點，預(yù)判戰(zhàn)場形勢，采樣一直是主要的數(shù)據(jù)獲取手段，這是在無法獲得總體數(shù)據(jù)信息條件下的無奈選擇。在大數(shù)據(jù)時代，人們可以獲得并分析更多的數(shù)據(jù)，而不再依賴于采樣，從而可以更全面地認(rèn)識戰(zhàn)爭，可以更清楚地發(fā)現(xiàn)樣本無法揭示的細(xì)節(jié)信息，清晰地觀察到戰(zhàn)場的各個環(huán)節(jié)。在信息化戰(zhàn)場上，通過情報、偵察和監(jiān)視系統(tǒng)以及有人、無人戰(zhàn)機，一支軍隊幾乎能夠“看見、聽見和感覺”到戰(zhàn)場上發(fā)生的所有狀況，然后通過超級計算機的速度和精度以及人的敏捷性，來理解和解釋現(xiàn)實世界，協(xié)助指揮官和分析人員以極短的時間來理解傳感器收集的海量數(shù)據(jù)。也就是說，在大數(shù)據(jù)時代，隨著數(shù)據(jù)收集、存儲、分析技術(shù)的突破性發(fā)展，而不再因諸多限制不得不采用樣本研究方法，相應(yīng)的，思維方式也應(yīng)該從樣本思維轉(zhuǎn)向總體思維，從而能夠更加全面、立體、系統(tǒng)地認(rèn)識戰(zhàn)爭。

　　從精確思維轉(zhuǎn)向容錯思維。在小數(shù)據(jù)時代，由于收集的樣本信息量比較少，所以必須確保記錄下來的數(shù)據(jù)盡量結(jié)構(gòu)化、精確化，否則，分析得出的結(jié)論很可能“南轅北轍”，因此，通常十分注重精確思維。然而，在大數(shù)據(jù)時代，得益于大數(shù)據(jù)技術(shù)的突破，大量的非結(jié)構(gòu)化、異構(gòu)化的數(shù)據(jù)能夠得到儲存和分析，這一方面提升了我們從數(shù)據(jù)中獲取知識和洞見的能力，另一方面也對傳統(tǒng)的精確思維造成了挑戰(zhàn)。舍恩伯格指出，“執(zhí)迷于精確性是信息缺乏時代和模擬時代的產(chǎn)物。只有5%的數(shù)據(jù)是結(jié)構(gòu)化且能適用于傳統(tǒng)數(shù)據(jù)庫的。如果不接受混亂，剩下95%的非結(jié)構(gòu)化數(shù)據(jù)都無法利用，只有接受不精確性，我們才能打開一扇從未涉足的世界的窗戶”。也就是說，在大數(shù)據(jù)時代，思維方式要從精確思維轉(zhuǎn)向容錯思維，當(dāng)擁有海量即時數(shù)據(jù)時，絕對的精準(zhǔn)不再是追求的主要目標(biāo)，適當(dāng)忽略微觀層面上的精確度，容許一定程度的錯誤與混雜，反而可以在宏觀層面擁有更好的知識和洞察力。

　　從因果思維轉(zhuǎn)向相關(guān)思維。在小數(shù)據(jù)世界中，人們往往執(zhí)著于現(xiàn)象背后的因果關(guān)系，試圖通過有限樣本數(shù)據(jù)來剖析其中的內(nèi)在機理。小數(shù)據(jù)的另一個缺陷就是有限的樣本數(shù)據(jù)無法反映出事物之間的普遍性的相關(guān)關(guān)系。而在大數(shù)據(jù)時代，人們可以通過大數(shù)據(jù)技術(shù)挖掘出事物之間隱蔽的相關(guān)關(guān)系，獲得更多的認(rèn)知與洞見，運用這些認(rèn)知與洞見就可以幫助我們捕捉現(xiàn)在和預(yù)測未來的戰(zhàn)場形勢，而建立在相關(guān)關(guān)系分析基礎(chǔ)上的預(yù)測正是大數(shù)據(jù)的核心議題。通過關(guān)注線性的相關(guān)關(guān)系，以及復(fù)雜的非線性相關(guān)關(guān)系，可以幫助人們看到很多以前不曾注意的聯(lián)系，相關(guān)關(guān)系甚至可以超越因果關(guān)系，成為了解戰(zhàn)爭、分析戰(zhàn)爭的更好視角。也就是說，在大數(shù)據(jù)時代，思維方式要從因果思維轉(zhuǎn)向相關(guān)思維，努力顛覆千百年來人類形成的傳統(tǒng)思維模式和固有偏見，才能更好地分享大數(shù)據(jù)帶來的深刻洞見。