大數(shù)據(jù)時代抽樣的是是非非

現(xiàn)在到處都在談大數(shù)據(jù)，相關(guān)的圖書里面舍恩伯格的《大數(shù)據(jù)時代》寫得最精彩也最具影響力，書中明確提出：在大數(shù)據(jù)分析和應(yīng)用中，不應(yīng)著眼于如何使用(隨機(jī))抽樣技術(shù)，而應(yīng)該使用大樣本來作為總體數(shù)據(jù)來使用。

　　在這個背景下，大數(shù)據(jù)時代還是否需要抽樣技術(shù)以及如何使用抽樣技術(shù)引起了大家的廣泛討論，下面說說個人觀點。

　　1. 在條件允許的情況下，收集數(shù)據(jù)階段盡可能獲得更多樣本，使樣本接近于總體的思路是對的。大數(shù)據(jù)時代的到來是由于數(shù)據(jù)收集、存儲和計算這幾方面條件的成熟導(dǎo)致數(shù)據(jù)運行成本的降低，將來數(shù)據(jù)是一種財富、一種資源，因此盡量收集數(shù)據(jù)資源是有意義的。而且抽樣得到的數(shù)據(jù)往往只能回答實現(xiàn)設(shè)定好的問題，而大數(shù)據(jù)不但能回答設(shè)定好的問題，也能回答某些突然出現(xiàn)的問題，數(shù)據(jù)越多越好。

　　2. 在已經(jīng)有大數(shù)據(jù)的前提下，使用大樣本數(shù)據(jù)來代替總體還是使用抽樣數(shù)據(jù)來推測總體特征取決于我們要解決的問題。如果以概括總體為目標(biāo)，那么抽樣往往是比較好的方式，但這個時候面臨的理論問題和傳統(tǒng)抽樣問題是不同的：以前是如何從總體中隨機(jī)抽樣來推斷總體特性，現(xiàn)在面臨的問題是“大樣本數(shù)據(jù)是否是總體的有偏抽樣嗎”?如果是的話，如何使用大樣本數(shù)據(jù)二次生成隨機(jī)樣本來推斷總體特性。如果大數(shù)據(jù)分析不像傳統(tǒng)統(tǒng)計分析那樣以洞察總體或群體特征為目標(biāo)，而是以每個個體特征分析和應(yīng)用為目的，這個時候直接使用大樣本數(shù)據(jù)數(shù)據(jù)要好些，比如說通過個人搜索、購買等行為預(yù)測行業(yè)趨勢，數(shù)據(jù)的覆蓋面不可能達(dá)到百分百，這類應(yīng)用中大數(shù)據(jù)本身就是樣本，但是只要數(shù)量夠大，即使不像傳統(tǒng)抽樣那么經(jīng)過精心挑選，那么就基本上也解決了問題，但此時能明確大樣本數(shù)據(jù)和總體數(shù)據(jù)的偏差往往也是有意義的。

　　3. 大數(shù)據(jù)主要表現(xiàn)在數(shù)據(jù)量大和數(shù)據(jù)維度多兩個層面，盡管目前分布式(map-reduce等)和實時處理(流計算，內(nèi)存計算)發(fā)展迅速，但是大數(shù)據(jù)在應(yīng)用過程中如果能采用小抽樣還是會節(jié)省一大筆成本，從效率和成本的角度考慮，適當(dāng)和合理的抽樣是有必要的，因此算法部署環(huán)節(jié)中抽樣算法、增量計算、數(shù)據(jù)維數(shù)縮減等會是大數(shù)據(jù)應(yīng)用中的重要課題，因為這些都會節(jié)省企業(yè)的計算資源。計算資源好比自來水管的水、餐桌上的飯，能省一點是一點。而且考慮到數(shù)據(jù)資源的價值可能會逐漸走高，抽樣算法的低碳環(huán)保會在大數(shù)據(jù)時代大有可為。

　　4. 如果要問“在海量數(shù)據(jù)的背景下，原先以在總體隨機(jī)抽樣來判斷總體為核心思想的統(tǒng)計學(xué)會不會面臨危機(jī)甚至消亡。”，我的答案是不會，只不過現(xiàn)在問題進(jìn)行了轉(zhuǎn)化，統(tǒng)計學(xué)會主要研究“如何使用過采樣的有偏樣本來估計總體”，就像目前大規(guī)模社交網(wǎng)絡(luò)抽樣中研究的問題那樣。社交網(wǎng)絡(luò)的小數(shù)據(jù)量隨機(jī)抽樣往往也比較困難，但是使用隨機(jī)行走等方式獲取有偏的大數(shù)據(jù)卻非常容易，因此“大樣本=總體”的思想是錯誤的，理論上再大的局部抽樣可能不如隨機(jī)抽樣有代表性。