對大數(shù)據(jù)分析有哪些流行誤解?

大數(shù)據(jù)是一個新概念，大數(shù)據(jù)產(chǎn)生的背景是整個社會走向數(shù)字化，特別是社交網(wǎng)絡和各種傳感設備的發(fā)展。大數(shù)據(jù)分析擁有自身的特點，與計量經(jīng)濟學既有區(qū)別又有聯(lián)系。當前對大數(shù)據(jù)的分析存在許多流行觀點，但其中很多核心觀點都值得商榷。

大數(shù)據(jù)產(chǎn)生的背景是整個社會走向數(shù)字化，特別是社交網(wǎng)絡和各種傳感設備的發(fā)展。云計算和搜索引擎的發(fā)展，使得對大數(shù)據(jù)的高效分析成為可能，核心問題是如何在種類繁多、數(shù)量龐大的數(shù)據(jù)中快速獲取有價值信息。大數(shù)據(jù)在社會分析、科學發(fā)現(xiàn)和商業(yè)決策中的作用越來越大，金融只是其中的一個應用領域。

什么是大數(shù)據(jù)

大數(shù)據(jù)是一個新概念，英文中至少有三個名稱：大數(shù)據(jù)（big data）、大尺度數(shù)據(jù)（big scale data）和大規(guī)模數(shù)據(jù)（massive data），至今未形成統(tǒng)一定義。但一般認為大數(shù)據(jù)具有四個基本特征（即所謂4V特征）：數(shù)據(jù)體量龐大（volume）、價值密度低（value, 也有人理解成應用價值巨大）、來源廣泛和特征多樣（variety）、增長速度快（velocity, 也有人理解成需要高速分析能力）。

從學術角度，對大數(shù)據(jù)的討論基本屬于數(shù)據(jù)科學（Data Science）和數(shù)據(jù)挖掘（Data Mining）的范疇。

大數(shù)據(jù)的主要類型：第一類是記錄數(shù)據(jù)，即記錄的匯集，其中每個記錄包含固定的數(shù)據(jù)字段（或?qū)傩裕?。比如，計量?jīng)濟學中的橫截面數(shù)據(jù)，文檔數(shù)據(jù)，事務數(shù)據(jù)或購物籃數(shù)據(jù)；第二類是基于圖形的數(shù)據(jù)，包括帶有數(shù)據(jù)對象之間聯(lián)系的數(shù)據(jù)和具有圖形對象的數(shù)據(jù)，比如網(wǎng)頁鏈接、化合物結(jié)構(gòu)；第三類是有序數(shù)據(jù)，包括時序數(shù)據(jù)、序列數(shù)據(jù)、空間數(shù)據(jù)。比如，宏觀經(jīng)濟指標序列，金融價格序列，基因組序列，詞或字母的序列，同一時點上從不同的地理位置收集的氣象數(shù)據(jù)（溫度、濕度、氣壓等）。

大數(shù)據(jù)分析的主要任務：第一類是預測任務，目標是根據(jù)某些屬性的值，預測另外一些特定屬性的值。被預測的屬性一般稱為目標變量或因變量，被用來做預測的屬性稱為解釋變量和自變量；第二類是描述任務，目標是導出概括數(shù)據(jù)中潛在聯(lián)系的模式，包括相關、趨勢、聚類、軌跡和異常等。描述性任務通常是探查性的，常常需要后處理技術來驗證和解釋結(jié)果。具體可分為分類、回歸、關聯(lián)分析、聚類分析、推薦系統(tǒng)、異常檢測、鏈接分析等幾種。

大數(shù)據(jù)分析與計量經(jīng)濟學的差異與聯(lián)系

大數(shù)據(jù)分析與計量經(jīng)濟學既有差異又有聯(lián)系。

兩者的差異表現(xiàn)為：第一，兩者處理的數(shù)據(jù)類型不同。計量經(jīng)濟學處理結(jié)構(gòu)型數(shù)據(jù)，主要包括橫截面數(shù)據(jù)、時間序列數(shù)據(jù)和面板數(shù)據(jù)，一般能以excel表格的形式呈現(xiàn)，而且表格的行列都有清晰的經(jīng)濟學含義，有一致統(tǒng)計口徑。大數(shù)據(jù)分析能處理很多非結(jié)構(gòu)型數(shù)據(jù)，包括文檔、視頻、圖像，一般難以用excel表格的形式呈現(xiàn)。但這些非結(jié)構(gòu)型數(shù)據(jù)需要量化后才能分析，在量化中一般伴隨著信息損失。

第二，兩者分析重點不同。計量經(jīng)濟學分析的重點是假設檢驗，核心理念與波普的證偽主義非常接近。計量經(jīng)濟學就是通過假設檢驗，來證偽或支持（注意不是證實）某個經(jīng)濟理論。相比之下，大數(shù)據(jù)分析更具實用主義色彩。預測在大數(shù)據(jù)分析中占有很大比重。對預測效果的后評估也是大數(shù)據(jù)分析的重要內(nèi)容。

大數(shù)據(jù)分析與計量經(jīng)濟學的內(nèi)在聯(lián)系也不容忽視。在對隨機問題的處理上，它們沒有本質(zhì)差別，基礎理論都是概率論和數(shù)理統(tǒng)計。

對大數(shù)據(jù)分析的主流誤解

舍恩伯格與合作者的《大數(shù)據(jù)時代》非常流行，但里面的很多核心觀點都值得商榷。

第一，他們認為，大數(shù)據(jù)分析不是針對隨機樣本，而是全體數(shù)據(jù)。盡管數(shù)據(jù)收集和分析手段足夠發(fā)達后，對全部數(shù)據(jù)的收集和分析成為可能，但從成本收益上衡量，這樣做不是總有必要。根據(jù)中心極限定理，統(tǒng)計分析質(zhì)量與樣本數(shù)量之間存在平方根關系。比如，樣本數(shù)量提高100倍，分析質(zhì)量提高10倍。而統(tǒng)計分析工作量與樣本數(shù)量之間存在線性關系。比如，樣本數(shù)量提高100倍，存儲和計算量一般增加100倍。這樣，樣本數(shù)量增長到一定程度后，新增工作量對應的成本就會超過質(zhì)量提高產(chǎn)生的好處。因此，通過科學設計的抽樣調(diào)查獲得有代表性的樣本，在大數(shù)據(jù)分析中仍有價值。

第二，他們還認為，大數(shù)據(jù)分析不是因果關系，而是相關關系。這個說法在統(tǒng)計學中是老生常談，不是什么新觀點。統(tǒng)計學基于相關關系，只能被用來證偽因果關系，而不能被用來證實因果關系。大數(shù)據(jù)分析的基礎理論也是概率論和數(shù)理統(tǒng)計，從根本上就屬于相關關系的范疇。

第三，大數(shù)據(jù)分析也不是萬能的?；诖髷?shù)據(jù)的預測可以抽象表述為：用 表示已知信息，用 表示未知信息，尋找關于 的函數(shù) 作為 的預測。預測誤差是 ，用 （類似于均方誤差）來衡量預測效果。概率論有一個基本結(jié)論：

對任意 ，總有 ，其中等號僅當 時才成立，所以 也被稱為最佳預測（best predictor）。

可以看出兩點結(jié)論：首先，大數(shù)據(jù)分析中，各種算法的核心任務是使 盡可能接近理論上的最優(yōu)預測 ；其次，即使在最優(yōu)預測上， 代表的預測誤差仍不能被消除，是內(nèi)生于信息結(jié)構(gòu)的。比如，即使信息技術非常發(fā)達，如果現(xiàn)實世界中仍有部分信息不能被數(shù)字化（從而不能用在大數(shù)據(jù)分析中），這部分被“塵封”的信息就決定了大數(shù)據(jù)分析的有效邊界。

第四，大數(shù)據(jù)能降低信息不對稱的程度，但不能消除隨機性（不確定性）；有助于評估風險（未來遭受損失的可能性，其中損失分布可計量），但不能消除奈特式不確定性（其中損失分布不可計量）。