大數(shù)據(jù)是指互聯(lián)網(wǎng)時代數(shù)碼化的數(shù)據(jù)超高速增長的現(xiàn)象。數(shù)據(jù)大只是量的概念，而“數(shù)碼化”是質(zhì)的變化。數(shù)碼化數(shù)據(jù)可以用電腦高速處理。數(shù)碼相機取代了膠卷相機就是因為它可以實時地用電腦芯片處理數(shù)據(jù)而生成照片和映像。這種變革是劃時代的，它改變了一個產(chǎn)業(yè)。

　　數(shù)碼化的數(shù)據(jù)除了量大（Volume）以外，它積累的速度（Velocity）更是驚人。積累的方式已不是過去的批量式而是源源不斷的數(shù)據(jù)流。 數(shù)據(jù)的產(chǎn)生也是多源化（Variety）的。采集手段包括手機、傳感器、電腦、掃描器、監(jiān)測儀等。數(shù)據(jù)形態(tài)包括數(shù)字、文字、聲音、照片、影視等。這種從現(xiàn) 實生活中產(chǎn)生的實時數(shù)據(jù)具有很大的噪音（Voracity）。既有傳統(tǒng)的有結(jié)構(gòu)數(shù)據(jù)，更有大量半結(jié)構(gòu)和無結(jié)構(gòu)數(shù)據(jù)。

大數(shù)據(jù)為何重要？

　　不管你承認(rèn)與否，大數(shù)據(jù)已成為現(xiàn)代生活的現(xiàn)實，而且在改變著我們的思維和行為方式。當(dāng)你在互聯(lián)網(wǎng)上購買一本書時，你會同時收到網(wǎng)站給你推薦的另 幾本書。這就是供應(yīng)商在背后應(yīng)用大數(shù)據(jù)的方法對其他成千上萬購買同一本書的群體進(jìn)行比較分析后的結(jié)果。被推薦的書正是該群體最常買的相關(guān)書籍。

　　大數(shù)據(jù)的處理技術(shù)使我們能做過去認(rèn)為做不到的事情。中國人的治學(xué)境界是要“破萬卷書，行萬里路”。今天用電腦“看”數(shù)碼化的書，破萬卷書是輕而一舉的事。

　　大數(shù)據(jù)實時處理多媒體、多渠道提供的數(shù)碼化數(shù)據(jù)的能力正在改變我們的生活。正在興起的遠(yuǎn)程醫(yī)療就是一例。在病人家中安裝監(jiān)測儀定時采集醫(yī)療數(shù) 據(jù)，病人用智能手機自我檢查的結(jié)果等數(shù)據(jù)可以實時地傳送給醫(yī)院。醫(yī)護(hù)人員可根據(jù)實時電子病歷進(jìn)行診斷、治療和護(hù)理。這些不斷積累的電子病歷又經(jīng)過數(shù)據(jù)挖掘 而產(chǎn)生新的信息和智能，促進(jìn)醫(yī)護(hù)服務(wù)質(zhì)量的改進(jìn)和提高。

　　大數(shù)據(jù)對傳統(tǒng)統(tǒng)計學(xué)提出了挑戰(zhàn)的同時也創(chuàng)造了機遇。以概率為基礎(chǔ)的抽樣統(tǒng)計的理念是以盡可能 小的隨機樣本來推測總體的狀態(tài)和行為。我們必須先設(shè)計調(diào)查問卷，再進(jìn)行數(shù)據(jù)采集、清理、分析以形成報告。這個過程很長，數(shù)據(jù)采集費用高， 而能回答的問題又受問卷的限制。這就產(chǎn)生了抽樣統(tǒng)計的不治之癥：慢、少、貴。即使行政統(tǒng)計，也都是用預(yù)制表格采集有結(jié)構(gòu)數(shù)據(jù)。大數(shù)據(jù)的理念是對現(xiàn)代生活中 通過多種渠道和手段源源不斷得到的半結(jié)構(gòu)、無結(jié)構(gòu)的數(shù)碼化的數(shù)據(jù)進(jìn)行處理、挖掘和分析而產(chǎn)生信息。它是實時或接近實時的數(shù)據(jù)處理，尋找的是相關(guān)性而不是因 果性，回答的問題不受問卷和表格的限制。

　　如果說抽樣統(tǒng)計和行政統(tǒng)計是統(tǒng)計1.0，我們可以把包括大數(shù)據(jù)的統(tǒng)計研究叫做統(tǒng)計2.0。統(tǒng)計1.0的數(shù)據(jù)是有結(jié)構(gòu)的樣本和行政數(shù)據(jù)。而統(tǒng)計 2.0的數(shù)據(jù)還要加上無結(jié)構(gòu)或半結(jié)構(gòu)的、從現(xiàn)實生活中通過多種渠道獲得的數(shù)碼化數(shù)據(jù)。從這個意義上講，大數(shù)據(jù)為解決傳統(tǒng)統(tǒng)計“慢、少、貴”的頑癥提供了新 的可能性。

大數(shù)據(jù)與現(xiàn)代信息技術(shù)

　　近年來信息技術(shù)的快速發(fā)展促進(jìn)了大數(shù)據(jù)時代的到來。

　　首先，海量數(shù)據(jù)的高速處理必須解決傳統(tǒng)數(shù)據(jù)處理的瓶頸問題：數(shù)據(jù)庫需要一個一個排起隊來處理。搜索一個數(shù)據(jù)庫可以瞬時完成，但搜索50個，上百 個數(shù)據(jù)庫，即使再快的電腦也需很長時間。網(wǎng)上搜索引擎巨頭公司如雅虎（Yahoo）和谷歌（Google）即率先研發(fā)應(yīng)用以Hadoop為代表的數(shù)據(jù)分散 組合處理技術(shù)。這種技術(shù)的核心理念是把搜索50個數(shù)據(jù)庫的任務(wù)分散到50臺電腦服務(wù)器上同時進(jìn)行，然后把所有搜索結(jié)果組合后反饋給用戶，大大加快了數(shù)據(jù)處 理速度。

　　第二，由于大數(shù)據(jù)處理（如Hadoop）技術(shù)需要大量的硬件投資和專業(yè)人員的維護(hù)，大部分公司和政府部門都無力承擔(dān)其費用。云計算使得資源共享成為可能，因而大大降低了大數(shù)據(jù)技術(shù)應(yīng)用的成本，推動了大數(shù)據(jù)發(fā)展的進(jìn)程。

　　第三，大數(shù)據(jù)處理過程中需要組合多源數(shù)據(jù)。而我們知道數(shù)據(jù)庫有多種（如：Oracle， SQL， 等），它們之間在數(shù)據(jù)結(jié)構(gòu)、定義等各方面是不匹配的。近年來以XML語言為基礎(chǔ)的數(shù)據(jù)整合技術(shù)（Data Mashup）的發(fā)展和成熟使實時的網(wǎng)上現(xiàn)場多源數(shù)據(jù)整合成為可能，為大數(shù)據(jù)時代的到來掃除了一個障礙。

　　第四，海量數(shù)據(jù)處理和分析的結(jié)果常常是分散和雜亂的。如何使數(shù)據(jù)分析結(jié)果變成簡明易懂的信息是大數(shù)據(jù)產(chǎn)生價值的關(guān)鍵。近年來方興未艾的數(shù)據(jù)可視 化技術(shù)（Data Visualization）上的創(chuàng)新和發(fā)展使以數(shù)據(jù)為基礎(chǔ)的，實時的智能決策支持成為可能，為大數(shù)據(jù)時代開了綠燈。

美國大數(shù)據(jù)的應(yīng)用現(xiàn)狀

　　谷歌、亞馬遜、沃爾瑪、等大公司在應(yīng)用大數(shù)據(jù)獲得商業(yè)利益上取得了成功。這些公司的共同點是自己擁有數(shù)據(jù)而且起步早。由于前一段大數(shù)據(jù)熱，為大 數(shù)據(jù)處理研發(fā)工具的一批新公司也獲得了一定的成功。以提供大數(shù)據(jù)分析服務(wù)為目標(biāo)的公司出現(xiàn)了一大批，但成功的很少。美國各級政府自奧巴馬就任以來在開放數(shù) 據(jù)方面取得很大進(jìn)展，但大多是行政數(shù)據(jù)，大數(shù)據(jù)應(yīng)用的成功例子是鳳毛麟角。

　　大數(shù)據(jù)高端分析人才（Data Scientist – 數(shù)據(jù)科學(xué)家）短缺。美國很多大學(xué)已開始設(shè)置數(shù)據(jù)科學(xué)家的課程和學(xué)位。傳統(tǒng)統(tǒng)計學(xué)家很難接受大數(shù)據(jù)的新理念和掌握新的分析手段和技能。

　　由于缺少成功的分析模式，海量數(shù)據(jù)不能很快產(chǎn)生商業(yè)價值，對大數(shù)據(jù)產(chǎn)業(yè)的投資迅速降溫。

　　保護(hù)個人隱私和權(quán)益仍是一個令人困惑的大問題，因為它涉及到道德、法律、和信息技術(shù)等多方面。

　　大數(shù)據(jù)的應(yīng)用上也存在著很多潛在問題。大數(shù)據(jù)可以揭示大量相關(guān)性但很難確定那個是有意義的。一旦計算方法暴露，數(shù)據(jù)造假很容易。網(wǎng)絡(luò)數(shù)據(jù)的回聲 效應(yīng)很強，很容易引起以訛傳訛使錯誤信息快速升級和傳播。用數(shù)據(jù)分析的方法把復(fù)雜的問題歸結(jié)于一個簡單的數(shù)字常常會產(chǎn)生誤導(dǎo)的結(jié)論（如：計算特定字詞出現(xiàn) 的次數(shù)來確定某人或事件的歷史地位）。在數(shù)據(jù)整合方面的挑戰(zhàn)更大。商場如戰(zhàn)場，企業(yè)之間都要保護(hù)自己的數(shù)據(jù)，數(shù)據(jù)共享幾乎不可能。政府部門之間也因責(zé)、 權(quán)、利上的沖突，以鄰為壑，各自把持自己的數(shù)據(jù)。這不是技術(shù)問題，而是利益、政治、政策、法律和道德問題。

結(jié)語

　　大數(shù)據(jù)代表了信息時代發(fā)展的一個新趨勢，其重要性和影響力不可低估。這一新工具為我們提供了認(rèn)識和解決問題的新機遇和手段。但它不是能治百病的 萬能藥，也不能取代傳統(tǒng)統(tǒng)計學(xué)和數(shù)據(jù)分析。比如，大數(shù)據(jù)可以對海量數(shù)據(jù)進(jìn)行實時處理而發(fā)現(xiàn)大量的相關(guān)性但不能確定哪個相關(guān)性是最有意義的。而在科學(xué)研究和 智能決策的過程中， 一個可確定的因果關(guān)系比多個不可確定的相關(guān)性關(guān)系更重要和有意義。如果說抽樣和行政統(tǒng)計（小數(shù)據(jù)）是點殺步槍，大數(shù)據(jù)則是掃射的機關(guān)槍。明智的指揮員知道 武器的性能和特點并能實行有效的火力配置去贏得戰(zhàn)斗的勝利。

數(shù)據(jù)分析師