大數(shù)據與哲學的一毛錢關系_數(shù)據分析師考試

大數(shù)據也可用來形容人們創(chuàng)造的大量結構化和非結構化數(shù)據。

1. 大數(shù)據實質

大數(shù)據的實質是什么？雖然目前國內外都還沒有統(tǒng)一的定義或認識，但從狹義的字面來理解的話，它應該與小數(shù)據相對應，大數(shù)據意指數(shù)據 量特別巨大，超出了我們常規(guī)的處理能力，必須引入新的科學工具和技術手段才能夠進行處理的數(shù)據集合。（所謂的小數(shù)據指的是數(shù)據規(guī)模比較小，用我們的傳統(tǒng)工 具和方法足以進行處理的數(shù)據集合）。比如牛頓時代的各門自然科學，其數(shù)據量都不大，第谷觀測了20年的天文數(shù)據，開普勒很快用手工就處理完畢，并從中發(fā)現(xiàn) 了開普勒定律。后來，隨著科學的發(fā)展，數(shù)據量有了比較大的增加，為了處理這些當時看來的“大數(shù)據”，統(tǒng)計學家創(chuàng)造了抽樣方法，由此解決了數(shù)據處理難題?，F(xiàn) 在的大數(shù)據卻是所謂的海量數(shù)據，各種數(shù)據的差別又特別巨大，用抽樣方法也難于處理，只能用現(xiàn)在的數(shù)據挖掘和云計算、云存儲等新技術才能解決。從廣義來說， 大數(shù)據指的是一種新的數(shù)據世界觀，它將世界上的一切事物都看作是由數(shù)據構成的，一切皆可“量化”，都可以用編碼數(shù)據來表示。這就是舍恩伯格所說的：“大數(shù) 據是人們獲得新認知、創(chuàng)造新價值的源泉；大數(shù)據還是改變市場、組織機構，以及政府與公民關系的方法?！?/span>

2. 大數(shù)據的特點

大數(shù)據的特點被人總結為4個“V”：第一，Volume(大量)，即數(shù)據數(shù)量巨大。從TB級別，躍升到PB級別。第 二，Variety(多樣)，即數(shù)據類型繁多。除了標準化的結構化編碼數(shù)據之外，還包括網絡日志、視頻、圖片、地理位置信息等等非結構化或無結構數(shù)據。第 三，Value(價值)，即商業(yè)價值高，但價值密度低。在數(shù)據的海洋中不斷尋找，才能掏出一些有價值的東西，可謂“沙里淘金”。第 四，Velocity(高速)，即處理速度快，實時在線。各種數(shù)據基本上實時、在線，并能夠進行快速的處理、傳送和存儲，以便全面反映對象的當下狀況。

3. 大數(shù)據的哲學基礎：同構關系——大數(shù)據的數(shù)理哲學基礎

大數(shù)據可認為是人類的認識和實踐，也就是一個數(shù)據搜索、處理、挖掘和創(chuàng)造的過程。大數(shù)據方法揭示的因果關系是常規(guī)性的，數(shù)據反映的 是具有同構關系的兩個序列關系信息，一個對象的運動軌跡，通過另一個序列的載體編碼來表述。認識者獲得的不是對象本身的絕對映像，而是離開了對象，從對象 中抽象出來的、關于對象運動軌跡的數(shù)據。從這一角度看，同構關系是大數(shù)據的數(shù)理哲學基礎。反映宇宙中形形色色事物的多樣化屬性和規(guī)律的大數(shù)據，這些結構性 和非結構性的數(shù)據，都統(tǒng)一表現(xiàn)為數(shù)字形式，以0和1按邏輯 關系編碼，而且具有可逆性。這表明，統(tǒng)一的宇宙中的一切事物之間都存在著具有時空一致性的同構關系。這種關系意味著任何事物的屬性和規(guī)律，只要通過適當?shù)?編碼，都可以通過統(tǒng)一的數(shù)字信號表達出來；換句話說，一種事物的屬性和規(guī)律，可以通過數(shù)據的媒介，表現(xiàn)在另一種事物運動序列中。（見圖一）

圖一

對象的結構數(shù)據與人的感覺映像的結構數(shù)據是一致的，更嚴格地說，是同構的。

4. 大數(shù)據研究方法的變革

4.1 大數(shù)據與傳統(tǒng)模型有很大區(qū)別

在物質形式的模型中，模型來源屬于天然存在物的便是天然模型，模型來源屬于人工制造物的便是人工模型。在思維形式的模型中，根據模 型不同的特點分為：理想模型、數(shù)學模型、理論模型以及半經驗半理論模型。理想模型強調的是模型的抽象性，數(shù)學模型強調的是模型的數(shù)學基礎，理論模型強調的 是模型的理論基礎，而半經驗半理論模型強調的是模型的來源，既包含理論成分，又包含經驗成分。就它們的區(qū)別而言，首先，大數(shù)據模型并不具有物質形式，因此 并非物質形式的科學模型；其次，大數(shù)據模型是根據海量數(shù)據以及算法得出，無理論介入，因此也非理論模型；再次，大數(shù)據模型從海量的數(shù)據出發(fā)，通過復雜的計 算，最終得出復雜的模型，都是具體的數(shù)據運算，并無抽象過程；最后，大數(shù)據模型雖涉及算法，但大數(shù)據模型與數(shù)學模型的得出過程不同，數(shù)學模型是通過尋找研 究問題與數(shù)學結構的對應關系而確定，大數(shù)據模型則是通過尋找海量數(shù)據與算法的對應關系而確定。顯然，大數(shù)據的模型方法與這里列出的已有科學模型方法均不相 同，是一種新型的模型方法，更多地體現(xiàn)為一種經驗模型。

4.2 大數(shù)據模型與統(tǒng)計建模比較，也有本質的不同

數(shù)據挖掘作為一個多學科交叉的領域，涉及到數(shù)據庫、統(tǒng)計學、機器學習等領域；從模型方法的角度來看，其中最為相近的是統(tǒng)計學。盡管數(shù)據挖掘涉及一定的統(tǒng)計基礎，但數(shù)據挖掘與統(tǒng)計建模還是有本質的區(qū)別。

首先，科學研究中的地位不同。統(tǒng)計建模經常是經驗研究和理論研究的配角和檢驗者，而在大數(shù)據的科學研究中，數(shù)據模型就是主角，模型承擔了科學理論的角色。

其次，數(shù)據類型不同。統(tǒng)計建模的數(shù)據通常是精心設計的實驗數(shù)據，具有較高的質量；而大數(shù)據中則是海量數(shù)據，往往類型雜多，質量較低。

再次，確立模型的過程不同。統(tǒng)計建模的模型是根據研究問題而確定的，目標變量預先已經確定好；大數(shù)據中的模型則是通過海量數(shù)據確定的，且部分情況下目標變量并不明確。

最后，建模驅動不同。統(tǒng)計建模是驗證驅動，強調的是先有設計再通過數(shù)據驗證設計模型的合理性；而大數(shù)據模型是數(shù)據驅動，強調的是建模過程以及模型的可更新性。

由此可見，盡管大數(shù)據與統(tǒng)計建模均是從數(shù)據中獲取模型，但兩者具有很大的區(qū)別，大數(shù)據帶來的是一種新的模型方法，大數(shù)據中的模型是數(shù)據驅動的經驗模型。

5. 大數(shù)據與哲學聯(lián)系——數(shù)據挖掘的過程就是認識論的過程

近現(xiàn)代科學最重要的特征是尋求事物的因果性。無論是唯理論還是經驗論，事實上都在尋找事物之間的因果關系，區(qū)別只在尋求因果關系的 方式不同。大數(shù)據最重要的特征是重視現(xiàn)象間的相關關系，并試圖通過變量之間的依隨變化找尋它們的相關性，從而不再一開始就把關注點放在內在的因果性上，這 是對因果性的真正超越?？茖W知識從何而來？傳統(tǒng)哲學認為要么來源于經驗觀察，要么來源于所謂的正確理論，大數(shù)據則通過數(shù)據挖掘“讓數(shù)據發(fā)聲”，提出了全新 的“科學始于數(shù)據”這一知識生產新模式。由此，數(shù)據成了科學認識的基礎，而云計算等數(shù)據挖掘手段將傳統(tǒng)的經驗歸納法發(fā)展為“大數(shù)據歸納法”，為科學發(fā)現(xiàn)提 供了認知新途徑。大數(shù)據通過海量數(shù)據來發(fā)現(xiàn)事物之間的相關關系，通過數(shù)據挖掘從海量數(shù)據中尋找蘊藏其中的數(shù)據規(guī)律，并利用數(shù)據之間的相關關系來解釋過去、 預測未來，從而用新的數(shù)據規(guī)律補充傳統(tǒng)的因果規(guī)律。大數(shù)據給傳統(tǒng)的科學認識論提出了新問題，也帶來了新挑戰(zhàn)。一方面，大數(shù)據用相關性補充了傳統(tǒng)認識論對因 果性的偏執(zhí)，用數(shù)據挖掘補充了科學知識的生產手段，用數(shù)據規(guī)律補充了單一的因果規(guī)律，實現(xiàn)了唯理論和經驗論的數(shù)據化統(tǒng)一，形成了全新的大數(shù)據認識論；另一 方面，由相關性構成的數(shù)據關系能否上升為必然規(guī)律，又該如何去檢驗，仍需要研究者作出進一步思考。