大數(shù)據(jù)時代和數(shù)據(jù)分析需求,統(tǒng)計還沾邊嗎

大數(shù)據(jù)時代的悄然到來和計算能力爆炸式增長，讓做統(tǒng)計分析的各類人士不禁要重新打量一下自己的技能包，看看是不是很快要被時代浪潮以大浪淘沙的方式清洗掉了。

到底大數(shù)據(jù)是怎么來的呢？可以用來干什么呢？我們就先拿2012美國總統(tǒng)大選來舉個例子看看。比如說我們想預測在2012年11月6日，

• 問題1: 奧巴馬和羅姆尼誰當選美國總統(tǒng)？

我們可以用什么數(shù)據(jù)來做這個預測呢？最常用的就是民調(diào)數(shù)據(jù)了，通過有選擇性的挑選一些可能選民來問他們的傾向。這好像是個傳統(tǒng)統(tǒng)計干的事。早在1962年John Tukey就已經(jīng)開始做了。

• 問題2: 奧巴馬和羅姆尼各自贏得了哪些州？

這也不難回答，我們還是可以用民調(diào)數(shù)據(jù)了，只不過要在每個州都進行抽樣調(diào)查，在仔細的分析匯總一下。數(shù)據(jù)量也就比預測全國的結果時用的多幾十倍而已。而且如果知道了那些州兩人相差太大，一方就沒有必要再大肆花錢做廣告了 ：）

• 問題3: 奧巴馬和羅姆尼各自贏得了縣？

再做更小范圍，更詳細的抽樣調(diào)查也許可行，也就是在加上幾十到幾百的數(shù)據(jù)量和相應的花費吧，同時為了提高準確性我們或許還需要收集和用到更多的其他輔助數(shù)據(jù)，比如各地的人口構成，年齡構成。。。但這個問題如果回答的好的話就可以更有效的投放廣告到地方市場了。

（這個數(shù)據(jù)可視化很燦，還有更酷的在這里，by Robert J. Vanderbei, Professor ofOperations Research and Financial Engineering at Princeton。看，不是統(tǒng)計學家做的吧。）

• 問題4: 奧巴馬或羅姆尼贏得某個人的選票的機會？

對這個問題的回答就比較費些勁了，這就牽扯到選戰(zhàn)中的精細估計（micro-targeting）了。如果這個估計的可以做的準，對于搖晃選民就可以電話或上門拜訪，狂轟濫炸，試圖說服了。

那怎么對每個人的投票傾向有個好的估計呢？關于個人很多因素就可以粉墨登場了，比如：黨派，年齡，性別，職業(yè)，婚姻情況，家庭人數(shù)，所開汽車型號，所用手機型號，等等。。。這數(shù)據(jù)量一下就上去了。再加上這些年隨著社交網(wǎng)絡的興起，我們可以在用上個人和其他人的社交關系，朋友活動，發(fā)帖轉帖等等等。。。一下子數(shù)據(jù)量級就上去了，也就可以成為大數(shù)據(jù)了。這些海量數(shù)據(jù)也讓我們有機會回答以前很難想到能夠回答的問題。

從這幾個關心問題的轉變過程中，我們可以看到與問題對應的所需數(shù)據(jù)收集和分析方法的演化。當我們關心的問題越細節(jié)，越多樣化，所需要的資源和技術就越多。

• 問題5: 如果把第4個問題中的“奧巴馬或羅姆尼贏得某個人的選票的機會？”改成“某個人在上網(wǎng)時點擊某個展示廣告的機會”會怎么樣呢？
  我們這就看到 Google, Baidu等一擁而上，不計成本的計算了，而且所能應用的變量就可能是他們能拿到關于“某人”的所有的線上腳印和線下信息了。

問題問了一圈，這些聽起來都很是十足的統(tǒng)計分析啊。本應該是統(tǒng)計分析人士應該是施展才華的時代，那為何還會有要被時代淘汰的論調(diào)呢？記得Leo Brieman 在1994年Berkeley 統(tǒng)計系畢業(yè)典禮上的講話中提到的：

要知道何去何從，我們必須清楚自己真正所擅長的是什么。統(tǒng)計的核心是什么？需要我們是一流的數(shù)學家嗎？幾乎不用。那是什么呢？成為收集信息，分析信息，并得出結論的專家！這才是我們真正所擅長的。所以我認為，這正是我們統(tǒng)計學家應有的定位，我們的身份危機才會到解決。

在大數(shù)據(jù)的時代，我們還有資格說我們是“收集信息，分析信息，并得出結論的專家” 嗎？如果我們不具備收集和處理大數(shù)據(jù)所需要的計算能力和技巧，沒有數(shù)據(jù)分析的直覺和經(jīng)驗，如何能得出有說服力和經(jīng)得起檢驗的結論呢？

現(xiàn)在討論我們是否是一流的數(shù)學家好像已經(jīng)沒有很么意義。我們不妨問問自己，比起一流的計算機學家，我們還有何優(yōu)勢能更好的“收集信息，分析信息，并得出結論”？當我們數(shù)據(jù)收集和處理能力越來越強時，大家關心的問題的范圍也越來越廣，細節(jié)要求越來越高，需要的數(shù)據(jù)越來越多。這個發(fā)展趨勢不廣在商業(yè)，計算機信息領域天天看到，我們在科學研究，醫(yī)療制藥，政府服務等各個方面的能力和雄心都在爆炸式的增長，由此帶來的問題和分析需求也在爆炸。

在這形勢下，我們可以考慮一下在這些牽扯大數(shù)據(jù)的問題中，統(tǒng)計又如何能更有效的幫助別人分析問題，得出結論。我們的曾經(jīng)的神器，極限定理以及其賴以生存的測度理論，是否還有那么神奇和有用呢？與此同時我們欠缺的是什么工具呢？如果我們做的理論問題的假設與實際問題和數(shù)據(jù)的統(tǒng)計距離太顯著，還有沒有必要鉆這牛角尖？如果我們不和做實際問題的一起工作，一起了解問題的細節(jié)，有怎能幫助他們呢？

從另一個角度看，我想在擁有與計算機專業(yè)的同事相差不算遠的計算機技能的基礎上，統(tǒng)計?？圃跀?shù)據(jù)收集方法（試驗設計，抽樣方法等），模型選擇以及模型對outlier和模型假設的敏感度，在數(shù)據(jù)支持下對可能結論的批判型思維，以及對結論的不確定型描述等方面還是很大優(yōu)勢的。不過這些方面的技能好像還都不是簡單的靠讀理論統(tǒng)計課本能直接學習到或證明數(shù)學定理能解決的，它們都是在解決實際問題和數(shù)據(jù)分析的過程中通過不斷犯錯誤來提高的。