大數(shù)據(jù)時(shí)代和數(shù)據(jù)分析需求，統(tǒng)計(jì)還沾邊嗎

大數(shù)據(jù)時(shí)代的悄然到來和計(jì)算能力爆炸式增長(zhǎng)，讓做統(tǒng)計(jì)分析的各類人士不禁要重新打量一下自己的技能包，看看是不是很快要被時(shí)代浪潮以大浪淘沙的方式清洗掉了。

到底大數(shù)據(jù)是怎么來的呢？可以用來干什么呢？我們就先拿2012美國(guó)總統(tǒng)大選來舉個(gè)例子看看。比如說我們想預(yù)測(cè)在2012年11月6日，

• 問題1: 奧巴馬和羅姆尼誰(shuí)當(dāng)選美國(guó)總統(tǒng)？

我們可以用什么數(shù)據(jù)來做這個(gè)預(yù)測(cè)呢？最常用的就是民調(diào)數(shù)據(jù)了，通過有選擇性的挑選一些可能選民來問他們的傾向。這好像是個(gè)傳統(tǒng)統(tǒng)計(jì)干的事。早在1962年John Tukey就已經(jīng)開始做了。

• 問題2: 奧巴馬和羅姆尼各自贏得了哪些州？

這也不難回答，我們還是可以用民調(diào)數(shù)據(jù)了，只不過要在每個(gè)州都進(jìn)行抽樣調(diào)查，在仔細(xì)的分析匯總一下。數(shù)據(jù)量也就比預(yù)測(cè)全國(guó)的結(jié)果時(shí)用的多幾十倍而已。而且如果知道了那些州兩人相差太大，一方就沒有必要再大肆花錢做廣告了 ：）

• 問題3: 奧巴馬和羅姆尼各自贏得了縣？

再做更小范圍，更詳細(xì)的抽樣調(diào)查也許可行，也就是在加上幾十到幾百的數(shù)據(jù)量和相應(yīng)的花費(fèi)吧，同時(shí)為了提高準(zhǔn)確性我們或許還需要收集和用到更多的其他輔助數(shù)據(jù)，比如各地的人口構(gòu)成，年齡構(gòu)成。。。但這個(gè)問題如果回答的好的話就可以更有效的投放廣告到地方市場(chǎng)了。

（這個(gè)數(shù)據(jù)可視化很燦，還有更酷的在這里，by Robert J. Vanderbei, Professor ofOperations Research and Financial Engineering at Princeton?？矗皇墙y(tǒng)計(jì)學(xué)家做的吧。）

• 問題4: 奧巴馬或羅姆尼贏得某個(gè)人的選票的機(jī)會(huì)？

對(duì)這個(gè)問題的回答就比較費(fèi)些勁了，這就牽扯到選戰(zhàn)中的精細(xì)估計(jì)（micro-targeting）了。如果這個(gè)估計(jì)的可以做的準(zhǔn)，對(duì)于搖晃選民就可以電話或上門拜訪，狂轟濫炸，試圖說服了。

那怎么對(duì)每個(gè)人的投票傾向有個(gè)好的估計(jì)呢？關(guān)于個(gè)人很多因素就可以粉墨登場(chǎng)了，比如：黨派，年齡，性別，職業(yè)，婚姻情況，家庭人數(shù)，所開汽車型號(hào)，所用手機(jī)型號(hào)，等等。。。這數(shù)據(jù)量一下就上去了。再加上這些年隨著社交網(wǎng)絡(luò)的興起，我們可以在用上個(gè)人和其他人的社交關(guān)系，朋友活動(dòng)，發(fā)帖轉(zhuǎn)帖等等等。。。一下子數(shù)據(jù)量級(jí)就上去了，也就可以成為大數(shù)據(jù)了。這些海量數(shù)據(jù)也讓我們有機(jī)會(huì)回答以前很難想到能夠回答的問題。

從這幾個(gè)關(guān)心問題的轉(zhuǎn)變過程中，我們可以看到與問題對(duì)應(yīng)的所需數(shù)據(jù)收集和分析方法的演化。當(dāng)我們關(guān)心的問題越細(xì)節(jié)，越多樣化，所需要的資源和技術(shù)就越多。

• 問題5: 如果把第4個(gè)問題中的“奧巴馬或羅姆尼贏得某個(gè)人的選票的機(jī)會(huì)？”改成“某個(gè)人在上網(wǎng)時(shí)點(diǎn)擊某個(gè)展示廣告的機(jī)會(huì)”會(huì)怎么樣呢？
  我們這就看到 Google, Baidu等一擁而上，不計(jì)成本的計(jì)算了，而且所能應(yīng)用的變量就可能是他們能拿到關(guān)于“某人”的所有的線上腳印和線下信息了。

問題問了一圈，這些聽起來都很是十足的統(tǒng)計(jì)分析啊。本應(yīng)該是統(tǒng)計(jì)分析人士應(yīng)該是施展才華的時(shí)代，那為何還會(huì)有要被時(shí)代淘汰的論調(diào)呢？記得Leo Brieman 在1994年Berkeley 統(tǒng)計(jì)系畢業(yè)典禮上的講話中提到的：

要知道何去何從，我們必須清楚自己真正所擅長(zhǎng)的是什么。統(tǒng)計(jì)的核心是什么？需要我們是一流的數(shù)學(xué)家嗎？幾乎不用。那是什么呢？成為收集信息，分析信息，并得出結(jié)論的專家！這才是我們真正所擅長(zhǎng)的。所以我認(rèn)為，這正是我們統(tǒng)計(jì)學(xué)家應(yīng)有的定位，我們的身份危機(jī)才會(huì)到解決。

在大數(shù)據(jù)的時(shí)代，我們還有資格說我們是“收集信息，分析信息，并得出結(jié)論的專家” 嗎？如果我們不具備收集和處理大數(shù)據(jù)所需要的計(jì)算能力和技巧，沒有數(shù)據(jù)分析的直覺和經(jīng)驗(yàn)，如何能得出有說服力和經(jīng)得起檢驗(yàn)的結(jié)論呢？

現(xiàn)在討論我們是否是一流的數(shù)學(xué)家好像已經(jīng)沒有很么意義。我們不妨問問自己，比起一流的計(jì)算機(jī)學(xué)家，我們還有何優(yōu)勢(shì)能更好的“收集信息，分析信息，并得出結(jié)論”？當(dāng)我們數(shù)據(jù)收集和處理能力越來越強(qiáng)時(shí)，大家關(guān)心的問題的范圍也越來越廣，細(xì)節(jié)要求越來越高，需要的數(shù)據(jù)越來越多。這個(gè)發(fā)展趨勢(shì)不廣在商業(yè)，計(jì)算機(jī)信息領(lǐng)域天天看到，我們?cè)诳茖W(xué)研究，醫(yī)療制藥，政府服務(wù)等各個(gè)方面的能力和雄心都在爆炸式的增長(zhǎng)，由此帶來的問題和分析需求也在爆炸。

在這形勢(shì)下，我們可以考慮一下在這些牽扯大數(shù)據(jù)的問題中，統(tǒng)計(jì)又如何能更有效的幫助別人分析問題，得出結(jié)論。我們的曾經(jīng)的神器，極限定理以及其賴以生存的測(cè)度理論，是否還有那么神奇和有用呢？與此同時(shí)我們欠缺的是什么工具呢？如果我們做的理論問題的假設(shè)與實(shí)際問題和數(shù)據(jù)的統(tǒng)計(jì)距離太顯著，還有沒有必要鉆這牛角尖？如果我們不和做實(shí)際問題的一起工作，一起了解問題的細(xì)節(jié)，有怎能幫助他們呢？

從另一個(gè)角度看，我想在擁有與計(jì)算機(jī)專業(yè)的同事相差不算遠(yuǎn)的計(jì)算機(jī)技能的基礎(chǔ)上，統(tǒng)計(jì)專科在數(shù)據(jù)收集方法（試驗(yàn)設(shè)計(jì)，抽樣方法等），模型選擇以及模型對(duì)outlier和模型假設(shè)的敏感度，在數(shù)據(jù)支持下對(duì)可能結(jié)論的批判型思維，以及對(duì)結(jié)論的不確定型描述等方面還是很大優(yōu)勢(shì)的。不過這些方面的技能好像還都不是簡(jiǎn)單的靠讀理論統(tǒng)計(jì)課本能直接學(xué)習(xí)到或證明數(shù)學(xué)定理能解決的，它們都是在解決實(shí)際問題和數(shù)據(jù)分析的過程中通過不斷犯錯(cuò)誤來提高的。