大數(shù)據(jù)時代對統(tǒng)計學(xué)和經(jīng)濟學(xué)的影響

大數(shù)據(jù)最顯著的特征就是 數(shù)據(jù)量大 ( large scope ) + 即時性 ( real time data )

比如: 你在超市收銀機的數(shù)據(jù), 網(wǎng)購的記錄, 或者在線閱讀( 比如在知乎的關(guān)注文章 ) 等等.

同時大數(shù)據(jù)時代帶來了很多新的數(shù)據(jù)類型 (新在于對比以往經(jīng)濟學(xué)上運用的數(shù)據(jù))

比如: 社交網(wǎng)絡(luò)上發(fā)的微博或者朋友圈里所包含的文字?jǐn)?shù)據(jù) (這是以往經(jīng)濟分析中不太會使用的).

計量經(jīng)濟中的數(shù)據(jù)結(jié)構(gòu)經(jīng)常是矩陣型的, 也就是說通常收集 N 個觀察項, K 個變量 (且 K <<N)

大數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)顯然不是這樣, 很多情況下 K >N

計量中經(jīng)常假設(shè)觀察項之間是獨立的, 但是在社交網(wǎng)絡(luò)中觀察項之間卻是經(jīng)?；ハ嗦?lián)結(jié), 計量經(jīng)濟學(xué)未來在使用社交網(wǎng)絡(luò)數(shù)據(jù)時如何處理這種觀察項間的影響將成為一個關(guān)鍵.

2. 目前時髦的大數(shù)據(jù)應(yīng)用: 預(yù)測建模 ( predictive modeling )

簡而言之, 預(yù)測建?？梢岳斫鉃? 已知 N 個觀察 通過 K 個預(yù)測變量 來推導(dǎo)出相關(guān)性最強的 N 個結(jié)果.

大數(shù)據(jù)時代數(shù)據(jù)雖然豐富多了, 但是數(shù)據(jù)的質(zhì)量卻很容易下降.

比如: 縱使你有全國層次上百萬級的觀察項, 而你所研究的課題卻是在市縣層次. 容易造成大量不相關(guān)且描述不夠詳盡的數(shù)據(jù).

而且這種統(tǒng)計方法面臨一個權(quán)衡取舍:

在 K >N 的時候, 模型的樣本外預(yù)測效果 ( out-of-sample performance ) 就會很差. 但是模型的樣本內(nèi)預(yù)測效果 (in-sample performance) 會很好.

而當(dāng)經(jīng)濟學(xué)家考慮運用機器學(xué)習(xí)的方法時, 很容易想到盧卡斯批評( Lucas Critique ): 如果一個預(yù)測模型通過收集市場上已知的經(jīng)濟行為, 從而用來預(yù)測最優(yōu)的政府干預(yù)政策時, 預(yù)測的結(jié)果可能并不準(zhǔn)確, 因為預(yù)測出來的干預(yù)政策會改變市場的經(jīng)濟行為( 而這些正是和原模型中相關(guān)聯(lián)的 )

3. 大數(shù)據(jù)時代已經(jīng)為實證經(jīng)濟學(xué)研究提供了新的思路

美國統(tǒng)計局調(diào)查通貨膨脹是使用派發(fā)問卷的方式, 回收的數(shù)據(jù)再分類到不同的通貨膨脹指標(biāo)中 (eg CPI). 大數(shù)據(jù)領(lǐng)域的 Billion Price Project ( BPP ) 運用實時的在線商店數(shù)據(jù)提供

一種 CPI 的替代指標(biāo) (這一指標(biāo)在美國被驗證 BPP 與 CPI 有很強的相關(guān)性).

其他的還有穆迪分析通過 MasterCard 和 Visa 的 Spending Pulse 來提供行業(yè)就業(yè)率的觀測指標(biāo).

然而這些大數(shù)據(jù)還不夠完美, 很顯然這些數(shù)據(jù)的樣本本身就不具有代表性. 比如: 利用 MasterCard 和 Visa 推導(dǎo)出的就業(yè)率指數(shù)首先就要求被調(diào)查者要至少有一張 MasterCard 或者 Visa.

4. 對經(jīng)濟學(xué)家的挑戰(zhàn)

數(shù)據(jù)獲取: 公共領(lǐng)域以及政府?dāng)?shù)據(jù)是否容易獲得.

數(shù)據(jù)管理以及編輯能力: 經(jīng)濟學(xué)家是否有能力快速的把大數(shù)據(jù)高效地應(yīng)用在經(jīng)濟學(xué)思想.

最重要的, 急需開發(fā)出創(chuàng)新的數(shù)據(jù)總結(jié), 描述和分析的方法.