大數(shù)據(jù)是指互聯(lián)網(wǎng)時(shí)代數(shù)碼化的數(shù)據(jù)超高速增長的現(xiàn)象。數(shù)據(jù)大只是量的概念，而“數(shù)碼化”是質(zhì)的變化。數(shù)碼化數(shù)據(jù)可以用電腦高速處理。數(shù)碼相機(jī)取代了膠卷相機(jī)就是因?yàn)樗梢詫?shí)時(shí)地用電腦芯片處理數(shù)據(jù)而生成照片和映像。這種變革是劃時(shí)代的，它改變了一個(gè)產(chǎn)業(yè)。

　　數(shù)碼化的數(shù)據(jù)除了量大（Volume）以外，它積累的速度（Velocity）更是驚人。積累的方式已不是過去的批量式而是源源不斷的數(shù)據(jù)流。 數(shù)據(jù)的產(chǎn)生也是多源化（Variety）的。采集手段包括手機(jī)、傳感器、電腦、掃描器、監(jiān)測儀等。數(shù)據(jù)形態(tài)包括數(shù)字、文字、聲音、照片、影視等。這種從現(xiàn) 實(shí)生活中產(chǎn)生的實(shí)時(shí)數(shù)據(jù)具有很大的噪音（Voracity）。既有傳統(tǒng)的有結(jié)構(gòu)數(shù)據(jù)，更有大量半結(jié)構(gòu)和無結(jié)構(gòu)數(shù)據(jù)。

大數(shù)據(jù)為何重要？

　　不管你承認(rèn)與否，大數(shù)據(jù)已成為現(xiàn)代生活的現(xiàn)實(shí)，而且在改變著我們的思維和行為方式。當(dāng)你在互聯(lián)網(wǎng)上購買一本書時(shí)，你會(huì)同時(shí)收到網(wǎng)站給你推薦的另 幾本書。這就是供應(yīng)商在背后應(yīng)用大數(shù)據(jù)的方法對其他成千上萬購買同一本書的群體進(jìn)行比較分析后的結(jié)果。被推薦的書正是該群體最常買的相關(guān)書籍。

　　大數(shù)據(jù)的處理技術(shù)使我們能做過去認(rèn)為做不到的事情。中國人的治學(xué)境界是要“破萬卷書，行萬里路”。今天用電腦“看”數(shù)碼化的書，破萬卷書是輕而一舉的事。

　　大數(shù)據(jù)實(shí)時(shí)處理多媒體、多渠道提供的數(shù)碼化數(shù)據(jù)的能力正在改變我們的生活。正在興起的遠(yuǎn)程醫(yī)療就是一例。在病人家中安裝監(jiān)測儀定時(shí)采集醫(yī)療數(shù) 據(jù)，病人用智能手機(jī)自我檢查的結(jié)果等數(shù)據(jù)可以實(shí)時(shí)地傳送給醫(yī)院。醫(yī)護(hù)人員可根據(jù)實(shí)時(shí)電子病歷進(jìn)行診斷、治療和護(hù)理。這些不斷積累的電子病歷又經(jīng)過數(shù)據(jù)挖掘 而產(chǎn)生新的信息和智能，促進(jìn)醫(yī)護(hù)服務(wù)質(zhì)量的改進(jìn)和提高。

　　大數(shù)據(jù)對傳統(tǒng)統(tǒng)計(jì)學(xué)提出了挑戰(zhàn)的同時(shí)也創(chuàng)造了機(jī)遇。以概率為基礎(chǔ)的抽樣統(tǒng)計(jì)的理念是以盡可能 小的隨機(jī)樣本來推測總體的狀態(tài)和行為。我們必須先設(shè)計(jì)調(diào)查問卷，再進(jìn)行數(shù)據(jù)采集、清理、分析以形成報(bào)告。這個(gè)過程很長，數(shù)據(jù)采集費(fèi)用高， 而能回答的問題又受問卷的限制。這就產(chǎn)生了抽樣統(tǒng)計(jì)的不治之癥：慢、少、貴。即使行政統(tǒng)計(jì)，也都是用預(yù)制表格采集有結(jié)構(gòu)數(shù)據(jù)。大數(shù)據(jù)的理念是對現(xiàn)代生活中 通過多種渠道和手段源源不斷得到的半結(jié)構(gòu)、無結(jié)構(gòu)的數(shù)碼化的數(shù)據(jù)進(jìn)行處理、挖掘和分析而產(chǎn)生信息。它是實(shí)時(shí)或接近實(shí)時(shí)的數(shù)據(jù)處理，尋找的是相關(guān)性而不是因 果性，回答的問題不受問卷和表格的限制。

　　如果說抽樣統(tǒng)計(jì)和行政統(tǒng)計(jì)是統(tǒng)計(jì)1.0，我們可以把包括大數(shù)據(jù)的統(tǒng)計(jì)研究叫做統(tǒng)計(jì)2.0。統(tǒng)計(jì)1.0的數(shù)據(jù)是有結(jié)構(gòu)的樣本和行政數(shù)據(jù)。而統(tǒng)計(jì) 2.0的數(shù)據(jù)還要加上無結(jié)構(gòu)或半結(jié)構(gòu)的、從現(xiàn)實(shí)生活中通過多種渠道獲得的數(shù)碼化數(shù)據(jù)。從這個(gè)意義上講，大數(shù)據(jù)為解決傳統(tǒng)統(tǒng)計(jì)“慢、少、貴”的頑癥提供了新 的可能性。

大數(shù)據(jù)與現(xiàn)代信息技術(shù)

　　近年來信息技術(shù)的快速發(fā)展促進(jìn)了大數(shù)據(jù)時(shí)代的到來。

　　首先，海量數(shù)據(jù)的高速處理必須解決傳統(tǒng)數(shù)據(jù)處理的瓶頸問題：數(shù)據(jù)庫需要一個(gè)一個(gè)排起隊(duì)來處理。搜索一個(gè)數(shù)據(jù)庫可以瞬時(shí)完成，但搜索50個(gè)，上百 個(gè)數(shù)據(jù)庫，即使再快的電腦也需很長時(shí)間。網(wǎng)上搜索引擎巨頭公司如雅虎（Yahoo）和谷歌（Google）即率先研發(fā)應(yīng)用以Hadoop為代表的數(shù)據(jù)分散 組合處理技術(shù)。這種技術(shù)的核心理念是把搜索50個(gè)數(shù)據(jù)庫的任務(wù)分散到50臺電腦服務(wù)器上同時(shí)進(jìn)行，然后把所有搜索結(jié)果組合后反饋給用戶，大大加快了數(shù)據(jù)處 理速度。

　　第二，由于大數(shù)據(jù)處理（如Hadoop）技術(shù)需要大量的硬件投資和專業(yè)人員的維護(hù)，大部分公司和政府部門都無力承擔(dān)其費(fèi)用。云計(jì)算使得資源共享成為可能，因而大大降低了大數(shù)據(jù)技術(shù)應(yīng)用的成本，推動(dòng)了大數(shù)據(jù)發(fā)展的進(jìn)程。

　　第三，大數(shù)據(jù)處理過程中需要組合多源數(shù)據(jù)。而我們知道數(shù)據(jù)庫有多種（如：Oracle， SQL， 等），它們之間在數(shù)據(jù)結(jié)構(gòu)、定義等各方面是不匹配的。近年來以XML語言為基礎(chǔ)的數(shù)據(jù)整合技術(shù)（Data Mashup）的發(fā)展和成熟使實(shí)時(shí)的網(wǎng)上現(xiàn)場多源數(shù)據(jù)整合成為可能，為大數(shù)據(jù)時(shí)代的到來掃除了一個(gè)障礙。

　　第四，海量數(shù)據(jù)處理和分析的結(jié)果常常是分散和雜亂的。如何使數(shù)據(jù)分析結(jié)果變成簡明易懂的信息是大數(shù)據(jù)產(chǎn)生價(jià)值的關(guān)鍵。近年來方興未艾的數(shù)據(jù)可視 化技術(shù)（Data Visualization）上的創(chuàng)新和發(fā)展使以數(shù)據(jù)為基礎(chǔ)的，實(shí)時(shí)的智能決策支持成為可能，為大數(shù)據(jù)時(shí)代開了綠燈。

美國大數(shù)據(jù)的應(yīng)用現(xiàn)狀

　　谷歌、亞馬遜、沃爾瑪、等大公司在應(yīng)用大數(shù)據(jù)獲得商業(yè)利益上取得了成功。這些公司的共同點(diǎn)是自己擁有數(shù)據(jù)而且起步早。由于前一段大數(shù)據(jù)熱，為大 數(shù)據(jù)處理研發(fā)工具的一批新公司也獲得了一定的成功。以提供大數(shù)據(jù)分析服務(wù)為目標(biāo)的公司出現(xiàn)了一大批，但成功的很少。美國各級政府自奧巴馬就任以來在開放數(shù) 據(jù)方面取得很大進(jìn)展，但大多是行政數(shù)據(jù)，大數(shù)據(jù)應(yīng)用的成功例子是鳳毛麟角。

　　大數(shù)據(jù)高端分析人才（Data Scientist – 數(shù)據(jù)科學(xué)家）短缺。美國很多大學(xué)已開始設(shè)置數(shù)據(jù)科學(xué)家的課程和學(xué)位。傳統(tǒng)統(tǒng)計(jì)學(xué)家很難接受大數(shù)據(jù)的新理念和掌握新的分析手段和技能。

　　由于缺少成功的分析模式，海量數(shù)據(jù)不能很快產(chǎn)生商業(yè)價(jià)值，對大數(shù)據(jù)產(chǎn)業(yè)的投資迅速降溫。

　　保護(hù)個(gè)人隱私和權(quán)益仍是一個(gè)令人困惑的大問題，因?yàn)樗婕暗降赖隆⒎?、和信息技術(shù)等多方面。

　　大數(shù)據(jù)的應(yīng)用上也存在著很多潛在問題。大數(shù)據(jù)可以揭示大量相關(guān)性但很難確定那個(gè)是有意義的。一旦計(jì)算方法暴露，數(shù)據(jù)造假很容易。網(wǎng)絡(luò)數(shù)據(jù)的回聲 效應(yīng)很強(qiáng)，很容易引起以訛傳訛使錯(cuò)誤信息快速升級和傳播。用數(shù)據(jù)分析的方法把復(fù)雜的問題歸結(jié)于一個(gè)簡單的數(shù)字常常會(huì)產(chǎn)生誤導(dǎo)的結(jié)論（如：計(jì)算特定字詞出現(xiàn) 的次數(shù)來確定某人或事件的歷史地位）。在數(shù)據(jù)整合方面的挑戰(zhàn)更大。商場如戰(zhàn)場，企業(yè)之間都要保護(hù)自己的數(shù)據(jù)，數(shù)據(jù)共享幾乎不可能。政府部門之間也因責(zé)、 權(quán)、利上的沖突，以鄰為壑，各自把持自己的數(shù)據(jù)。這不是技術(shù)問題，而是利益、政治、政策、法律和道德問題。

結(jié)語

　　大數(shù)據(jù)代表了信息時(shí)代發(fā)展的一個(gè)新趨勢，其重要性和影響力不可低估。這一新工具為我們提供了認(rèn)識和解決問題的新機(jī)遇和手段。但它不是能治百病的 萬能藥，也不能取代傳統(tǒng)統(tǒng)計(jì)學(xué)和數(shù)據(jù)分析。比如，大數(shù)據(jù)可以對海量數(shù)據(jù)進(jìn)行實(shí)時(shí)處理而發(fā)現(xiàn)大量的相關(guān)性但不能確定哪個(gè)相關(guān)性是最有意義的。而在科學(xué)研究和 智能決策的過程中， 一個(gè)可確定的因果關(guān)系比多個(gè)不可確定的相關(guān)性關(guān)系更重要和有意義。如果說抽樣和行政統(tǒng)計(jì)（小數(shù)據(jù)）是點(diǎn)殺步槍，大數(shù)據(jù)則是掃射的機(jī)關(guān)槍。明智的指揮員知道 武器的性能和特點(diǎn)并能實(shí)行有效的火力配置去贏得戰(zhàn)斗的勝利。

數(shù)據(jù)分析師