大數(shù)據(jù)也可用來形容人們創(chuàng)造的大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

1. 大數(shù)據(jù)實(shí)質(zhì)

大數(shù)據(jù)的實(shí)質(zhì)是什么？雖然目前國內(nèi)外都還沒有統(tǒng)一的定義或認(rèn)識，但從狹義的字面來理解的話，它應(yīng)該與小數(shù)據(jù)相對應(yīng)，大數(shù)據(jù)意指數(shù)據(jù) 量特別巨大，超出了我們常規(guī)的處理能力，必須引入新的科學(xué)工具和技術(shù)手段才能夠進(jìn)行處理的數(shù)據(jù)集合。（所謂的小數(shù)據(jù)指的是數(shù)據(jù)規(guī)模比較小，用我們的傳統(tǒng)工 具和方法足以進(jìn)行處理的數(shù)據(jù)集合）。比如牛頓時(shí)代的各門自然科學(xué)，其數(shù)據(jù)量都不大，第谷觀測了20年的天文數(shù)據(jù)，開普勒很快用手工就處理完畢，并從中發(fā)現(xiàn) 了開普勒定律。后來，隨著科學(xué)的發(fā)展，數(shù)據(jù)量有了比較大的增加，為了處理這些當(dāng)時(shí)看來的“大數(shù)據(jù)”，統(tǒng)計(jì)學(xué)家創(chuàng)造了抽樣方法，由此解決了數(shù)據(jù)處理難題。

現(xiàn)在的大數(shù)據(jù)卻是所謂的海量數(shù)據(jù)，各種數(shù)據(jù)的差別又特別巨大，用抽樣方法也難于處理，只能用現(xiàn)在的數(shù)據(jù)挖掘和云計(jì)算、云存儲(chǔ)等新技術(shù)才能解決。從廣義來說， 大數(shù)據(jù)指的是一種新的數(shù)據(jù)世界觀，它將世界上的一切事物都看作是由數(shù)據(jù)構(gòu)成的，一切皆可“量化”，都可以用編碼數(shù)據(jù)來表示。這就是舍恩伯格所說的：“大數(shù) 據(jù)是人們獲得新認(rèn)知、創(chuàng)造新價(jià)值的源泉；大數(shù)據(jù)還是改變市場、組織機(jī)構(gòu)，以及政府與公民關(guān)系的方法。”

2. 大數(shù)據(jù)的特點(diǎn)

大數(shù)據(jù)的特點(diǎn)被人總結(jié)為4個(gè)“V”：

第一，Volume(大量)，即數(shù)據(jù)數(shù)量巨大。從TB級別，躍升到PB級別。

第二，Variety(多樣)，即數(shù)據(jù)類型繁多。除了標(biāo)準(zhǔn)化的結(jié)構(gòu)化編碼數(shù)據(jù)之外，還包括網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等非結(jié)構(gòu)化或無結(jié)構(gòu)數(shù)據(jù)。

第三，Value(價(jià)值)，即商業(yè)價(jià)值高，但價(jià)值密度低。在數(shù)據(jù)的海洋中不斷尋找，才能掏出一些有價(jià)值的東西，可謂“沙里淘金”。

第四，Velocity(高速)，即處理速度快，實(shí)時(shí)在線。各種數(shù)據(jù)基本上實(shí)時(shí)、在線，并能夠進(jìn)行快速的處理、傳送和存儲(chǔ)，以便全面反映對象的當(dāng)下狀況。

3. 大數(shù)據(jù)的哲學(xué)基礎(chǔ)：同構(gòu)關(guān)系——大數(shù)據(jù)的數(shù)理哲學(xué)基礎(chǔ)

大數(shù)據(jù)可認(rèn)為是人類的認(rèn)識和實(shí)踐，也就是一個(gè)數(shù)據(jù)搜索、處理、挖掘和創(chuàng)造的過程。大數(shù)據(jù)方法揭示的因果關(guān)系是常規(guī)性的，數(shù)據(jù)反映的 是具有同構(gòu)關(guān)系的兩個(gè)序列關(guān)系信息，一個(gè)對象的運(yùn)動(dòng)軌跡，通過另一個(gè)序列的載體編碼來表述。

認(rèn)識者獲得的不是對象本身的絕對映像，而是離開了對象，從對象 中抽象出來的、關(guān)于對象運(yùn)動(dòng)軌跡的數(shù)據(jù)。從這一角度看，同構(gòu)關(guān)系是大數(shù)據(jù)的數(shù)理哲學(xué)基礎(chǔ)。反映宇宙中形形色色事物的多樣化屬性和規(guī)律的大數(shù)據(jù)，這些結(jié)構(gòu)性 和非結(jié)構(gòu)性的數(shù)據(jù)，都統(tǒng)一表現(xiàn)為數(shù)字形式，以0和1按邏輯 關(guān)系編碼，而且具有可逆性。這表明，統(tǒng)一的宇宙中的一切事物之間都存在著具有時(shí)空一致性的同構(gòu)關(guān)系。

這種關(guān)系意味著任何事物的屬性和規(guī)律，只要通過適當(dāng)?shù)?編碼，都可以通過統(tǒng)一的數(shù)字信號表達(dá)出來；換句話說，一種事物的屬性和規(guī)律，可以通過數(shù)據(jù)的媒介，表現(xiàn)在另一種事物運(yùn)動(dòng)序列中。（見圖一）

對象的結(jié)構(gòu)數(shù)據(jù)與人的感覺映像的結(jié)構(gòu)數(shù)據(jù)是一致的，更嚴(yán)格地說，是同構(gòu)的。

4. 大數(shù)據(jù)研究方法的變革

4.1 大數(shù)據(jù)與傳統(tǒng)模型有很大區(qū)別

在物質(zhì)形式的模型中，模型來源屬于天然存在物的便是天然模型，模型來源屬于人工制造物的便是人工模型。

在思維形式的模型中，根據(jù)模 型不同的特點(diǎn)分為：理想模型、數(shù)學(xué)模型、理論模型以及半經(jīng)驗(yàn)半理論模型。理想模型強(qiáng)調(diào)的是模型的抽象性，數(shù)學(xué)模型強(qiáng)調(diào)的是模型的數(shù)學(xué)基礎(chǔ)，理論模型強(qiáng)調(diào)的 是模型的理論基礎(chǔ)，而半經(jīng)驗(yàn)半理論模型強(qiáng)調(diào)的是模型的來源，既包含理論成分，又包含經(jīng)驗(yàn)成分。

就它們的區(qū)別而言，首先，大數(shù)據(jù)模型并不具有物質(zhì)形式，因此 并非物質(zhì)形式的科學(xué)模型；其次，大數(shù)據(jù)模型是根據(jù)海量數(shù)據(jù)以及算法得出，無理論介入，因此也非理論模型；再次，大數(shù)據(jù)模型從海量的數(shù)據(jù)出發(fā)，通過復(fù)雜的計(jì)算，最終得出復(fù)雜的模型，都是具體的數(shù)據(jù)運(yùn)算，并無抽象過程；最后，大數(shù)據(jù)模型雖涉及算法，但大數(shù)據(jù)模型與數(shù)學(xué)模型的得出過程不同，數(shù)學(xué)模型是通過尋找研究問題與數(shù)學(xué)結(jié)構(gòu)的對應(yīng)關(guān)系而確定，大數(shù)據(jù)模型則是通過尋找海量數(shù)據(jù)與算法的對應(yīng)關(guān)系而確定。

顯然，大數(shù)據(jù)的模型方法與這里列出的已有科學(xué)模型方法均不相 同，是一種新型的模型方法，更多地體現(xiàn)為一種經(jīng)驗(yàn)?zāi)Ｐ汀?/span>

4.2 大數(shù)據(jù)模型與統(tǒng)計(jì)建模比較，也有本質(zhì)的不同

數(shù)據(jù)挖掘作為一個(gè)多學(xué)科交叉的領(lǐng)域，涉及到數(shù)據(jù)庫、統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)等領(lǐng)域；從模型方法的角度來看，其中最為相近的是統(tǒng)計(jì)學(xué)。盡管數(shù)據(jù)挖掘涉及一定的統(tǒng)計(jì)基礎(chǔ)，但數(shù)據(jù)挖掘與統(tǒng)計(jì)建模還是有本質(zhì)的區(qū)別。

首先，科學(xué)研究中的地位不同。統(tǒng)計(jì)建模經(jīng)常是經(jīng)驗(yàn)研究和理論研究的配角和檢驗(yàn)者，而在大數(shù)據(jù)的科學(xué)研究中，數(shù)據(jù)模型就是主角，模型承擔(dān)了科學(xué)理論的角色。

其次，數(shù)據(jù)類型不同。統(tǒng)計(jì)建模的數(shù)據(jù)通常是精心設(shè)計(jì)的實(shí)驗(yàn)數(shù)據(jù)，具有較高的質(zhì)量；而大數(shù)據(jù)中則是海量數(shù)據(jù)，往往類型雜多，質(zhì)量較低。

再次，確立模型的過程不同。統(tǒng)計(jì)建模的模型是根據(jù)研究問題而確定的，目標(biāo)變量預(yù)先已經(jīng)確定好；大數(shù)據(jù)中的模型則是通過海量數(shù)據(jù)確定的，且部分情況下目標(biāo)變量并不明確。

最后，建模驅(qū)動(dòng)不同。統(tǒng)計(jì)建模是驗(yàn)證驅(qū)動(dòng)，強(qiáng)調(diào)的是先有設(shè)計(jì)再通過數(shù)據(jù)驗(yàn)證設(shè)計(jì)模型的合理性；而大數(shù)據(jù)模型是數(shù)據(jù)驅(qū)動(dòng)，強(qiáng)調(diào)的是建模過程以及模型的可更新性。

由此可見，盡管大數(shù)據(jù)與統(tǒng)計(jì)建模均是從數(shù)據(jù)中獲取模型，但兩者具有很大的區(qū)別，大數(shù)據(jù)帶來的是一種新的模型方法，大數(shù)據(jù)中的模型是數(shù)據(jù)驅(qū)動(dòng)的經(jīng)驗(yàn)?zāi)Ｐ汀?/span>

5. 大數(shù)據(jù)與哲學(xué)聯(lián)系——數(shù)據(jù)挖掘的過程就是認(rèn)識論的過程

近現(xiàn)代科學(xué)最重要的特征是尋求事物的因果性。無論是唯理論還是經(jīng)驗(yàn)論，事實(shí)上都在尋找事物之間的因果關(guān)系，區(qū)別只在尋求因果關(guān)系的 方式不同。大數(shù)據(jù)最重要的特征是重視現(xiàn)象間的相關(guān)關(guān)系，并試圖通過變量之間的依隨變化找尋它們的相關(guān)性，從而不再一開始就把關(guān)注點(diǎn)放在內(nèi)在的因果性上，這是對因果性的真正超越。科學(xué)知識從何而來？傳統(tǒng)哲學(xué)認(rèn)為要么來源于經(jīng)驗(yàn)觀察，要么來源于所謂的正確理論，大數(shù)據(jù)則通過數(shù)據(jù)挖掘“讓數(shù)據(jù)發(fā)聲”，提出了全新 的“科學(xué)始于數(shù)據(jù)”這一知識生產(chǎn)新模式。

由此，數(shù)據(jù)成了科學(xué)認(rèn)識的基礎(chǔ)，而云計(jì)算等數(shù)據(jù)挖掘手段將傳統(tǒng)的經(jīng)驗(yàn)歸納法發(fā)展為“大數(shù)據(jù)歸納法”，為科學(xué)發(fā)現(xiàn)提 供了認(rèn)知新途徑。大數(shù)據(jù)通過海量數(shù)據(jù)來發(fā)現(xiàn)事物之間的相關(guān)關(guān)系，通過數(shù)據(jù)挖掘從海量數(shù)據(jù)中尋找蘊(yùn)藏其中的數(shù)據(jù)規(guī)律，并利用數(shù)據(jù)之間的相關(guān)關(guān)系來解釋過去、 預(yù)測未來，從而用新的數(shù)據(jù)規(guī)律補(bǔ)充傳統(tǒng)的因果規(guī)律。大數(shù)據(jù)給傳統(tǒng)的科學(xué)認(rèn)識論提出了新問題，也帶來了新挑戰(zhàn)。

一方面，大數(shù)據(jù)用相關(guān)性補(bǔ)充了傳統(tǒng)認(rèn)識論對因 果性的偏執(zhí)，用數(shù)據(jù)挖掘補(bǔ)充了科學(xué)知識的生產(chǎn)手段，用數(shù)據(jù)規(guī)律補(bǔ)充了單一的因果規(guī)律，實(shí)現(xiàn)了唯理論和經(jīng)驗(yàn)論的數(shù)據(jù)化統(tǒng)一，形成了全新的大數(shù)據(jù)認(rèn)識論；

另一 方面，由相關(guān)性構(gòu)成的數(shù)據(jù)關(guān)系能否上升為必然規(guī)律，又該如何去檢驗(yàn)，仍需要研究者作出進(jìn)一步思考。

大風(fēng)大浪中，有時(shí)也需要清清心，喝杯茶。

來源：互聯(lián)網(wǎng)周刊 作者：孫亞平