大數(shù)據(jù)時代下數(shù)據(jù)分析的變化

( 一) 分析思路

大數(shù)據(jù)時代的分析常常是直接計算現(xiàn)象之間的相依性。傳統(tǒng)的統(tǒng)計分析過程是 “定性 － 定量 － 再定性”，第一個定性是為定量分析找準方向，主要靠經(jīng)驗判斷，一般針對數(shù)據(jù)短缺的情況下比較重要?，F(xiàn)在大數(shù)據(jù)時代，可以直接通過數(shù)據(jù)分析做出判斷，所要做的是直接從 “定量的回應”中找出數(shù)量特征和數(shù)量關(guān)系，然后得出可以作為判斷或決策依據(jù)的結(jié)論。因此大數(shù)據(jù)時代統(tǒng)計分析的過程可以簡化為“定量 － 定性”。在實證分析上，傳統(tǒng)思路通常是 “假設(shè) － 驗證”，先根據(jù)最終的研究目的提出假設(shè)性意見，然后收集分析數(shù)據(jù)，進而驗證假設(shè)的成立與否。這種實證分析容易受到數(shù)據(jù)的缺失、假設(shè)的局限性以及指標選擇的不當?shù)鹊挠绊?，得不到正確的結(jié)論。尤其是在假設(shè)本身的非科學性、非客觀性、非合理性的情況下，得出的結(jié)論更是毫無用處，甚至歪曲事實本身。在現(xiàn)在的大數(shù)據(jù)時代，可以從中尋找關(guān)系、發(fā)現(xiàn)規(guī)律而不受任何假設(shè)的限制，然后得出結(jié)論，分析的思路可以概括為 “發(fā)現(xiàn) － 總結(jié)”。

( 二) 研究對象的變化

首先，從數(shù)據(jù)來源上看，傳統(tǒng)的統(tǒng)計抽樣調(diào)查方法有一些不足: 抽樣框不穩(wěn)定，隨機取樣困難; 事先設(shè)定調(diào)查目的會限制調(diào)查的內(nèi)容和范圍; 樣本量有限，抽樣結(jié)果經(jīng)不起細分; 糾偏成本高，可塑性弱。而在大數(shù)據(jù)時代，更多的是將總體直接作為研究對象，摒棄了抽樣樣本的研究，傳統(tǒng)統(tǒng)計抽樣調(diào)查方法的不足可以在大數(shù)據(jù)時代得到改進。其次，對于數(shù)據(jù)類型而言，傳統(tǒng)數(shù)據(jù)通常是結(jié)構(gòu)型的，即定量數(shù)據(jù)加上少量的定性數(shù)據(jù)，格式化，有標準，可通過常規(guī)的統(tǒng)計指標和統(tǒng)計圖來表示。而大數(shù)據(jù)則注重非結(jié)構(gòu)性數(shù)據(jù)或者半結(jié)構(gòu)、異結(jié)構(gòu)數(shù)據(jù)，多樣化、無標準，很難通過傳統(tǒng)的統(tǒng)計指標或統(tǒng)計圖表加以表現(xiàn)。

( 三) 假設(shè)檢驗的變化

傳統(tǒng)的統(tǒng)計研究，通常是根據(jù)內(nèi)容提出假設(shè)意見，然后根據(jù)最初設(shè)定的理論模型來檢驗驗證假設(shè)的真實效用性。但對于大數(shù)據(jù)時代而言，信息資源充足，可以采用人工智能對數(shù)據(jù)信息進行挖掘開發(fā)，需要驗證的假設(shè)比傳統(tǒng)經(jīng)濟學研究多出很多，不在一個數(shù)量級上。傳統(tǒng)的假設(shè)驗證分析是無法滿足大數(shù)據(jù)時代的需求的。

( 四) 分析關(guān)系的變化

預先假設(shè)事物之間的因果聯(lián)系，再設(shè)定理論模型驗證預先的假設(shè)，這是傳統(tǒng)統(tǒng)計分析工作的一般工作模式。在大數(shù)據(jù)時代，由于數(shù)據(jù)規(guī)模的龐大，數(shù)據(jù)結(jié)構(gòu)的復雜多樣等，使預設(shè)的因果關(guān)系會相對復雜很多，給分析工作帶來很大的不便。預示，大數(shù)據(jù)時代的數(shù)據(jù)分析便側(cè)重于關(guān)注事物之間的相關(guān)聯(lián)性，而非因果關(guān)系。在小數(shù)據(jù)時代，計算機存儲和計算能力不足，導致大部分相關(guān)分析限于線性關(guān)系。大數(shù)據(jù)時代，現(xiàn)象的關(guān)系相對更復雜，不僅可能是線性關(guān)系，更有可能是非線性關(guān)系。這種非線性關(guān)系除了可能是非線性的函數(shù)關(guān)系外，更一般的情況不清楚關(guān)系的具體形式，只知道現(xiàn)象之間的相依的程度。由于在大數(shù)據(jù)時代數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)關(guān)系錯綜復雜，很難在變量間確定的函數(shù)形式并在此基礎(chǔ)上探討因果關(guān)系，因此大數(shù)據(jù)時代一般不做原因分析。

( 五) 建模思想的變化

傳統(tǒng)的統(tǒng)計往往采用模型來進行研究，但是模型不是萬能的，各個模型并不是完全一樣，而是各有所長，同樣也有其自身的局限性。因此傳統(tǒng)的統(tǒng)計研究所得出的結(jié)論只能表示所用模型的結(jié)論，卻不具有普適性。此外，在研究同一問題時，即使開始設(shè)定的理論模型是一樣的，但不同的研究者在研究時所選擇的變量、方法等方面的不同，也會導致研究結(jié)論的不同。在借助分布式處理、人工智能和云計算等現(xiàn)代信息技術(shù)的大數(shù)據(jù)時代背景下，可以采用數(shù)以千計的模型來進行研究。在 2009 年美國甲型H1N1 流感爆發(fā)之際，谷歌公司對其進行了大膽的預測，將上千萬條美國人的高頻檢索詞和疾控中心在 2003 ～ 2008 年中間的 ( 季節(jié)性) 流感時期進行了大量比較，總共處理了將近 5 億的數(shù)字模型，其結(jié)果與官方數(shù)據(jù)相關(guān)性達到了 97% ，比官方時間省事半個月左右，為相關(guān)部門積極解決問題爭取了彌足珍貴的時間。