大數(shù)據(jù)產(chǎn)業(yè)鏈基本架構(gòu)_數(shù)據(jù)分析師

大數(shù)據(jù)概念的升溫，引來了很多爭議。有人稱之為“新瓶裝舊酒”，也有人認為大數(shù)據(jù)的機遇被過于夸大。其實，這些都與沒有真正理解大數(shù)據(jù)的本質(zhì)有關(guān)。任何事物的發(fā)展都有其客觀規(guī)律，大數(shù)據(jù)并非是“石頭里蹦出來的孫悟空”，它也有自己的“親生父母”——計算機科學(xué)和數(shù)據(jù)科學(xué)。正是由于兩者的融合，以及生命科學(xué)、地理科學(xué)甚至社會科學(xué)等各領(lǐng)域數(shù)據(jù)化程度的加深，才使得大數(shù)據(jù)擁有不同尋常的“基因”。而且，隨著互聯(lián)網(wǎng)產(chǎn)業(yè)的成熟，物聯(lián)網(wǎng)、云計算概念的落地，數(shù)據(jù)驅(qū)動創(chuàng)新觀念的深入人心，大數(shù)據(jù)的用武之地將更為廣泛，所能帶來的變革潛力也將不可限量。

    關(guān)于大數(shù)據(jù)，有如下幾個重要判斷和觀點：

    ——大數(shù)據(jù)思維源于數(shù)據(jù)挖掘（Data Mining）又高于數(shù)據(jù)挖掘。也可以說，數(shù)據(jù)挖掘是大數(shù)據(jù)的“近親”。數(shù)據(jù)挖掘借助計算機從海量數(shù)據(jù)中發(fā)現(xiàn)隱含的知識和規(guī)律，是一門融合了計算機、統(tǒng)計等領(lǐng)域知識的交叉學(xué)科，其核心的人工智能、機器學(xué)習(xí)、模式識別等理論，在上世紀90年代推行知識管理時已有顯著進展。從本質(zhì)上看，大數(shù)據(jù)帶來的“思維大變革”以及一些數(shù)據(jù)驅(qū)動類的商業(yè)智能（Business Intelligence）模式創(chuàng)新，都是數(shù)據(jù)挖掘理論的延伸，表達為“數(shù)據(jù)挖掘相對于數(shù)理統(tǒng)計帶來的思維變革”或許更加準確。比如，因果關(guān)系是數(shù)理統(tǒng)計中的重要內(nèi)容，基于完善的數(shù)學(xué)理論，代表是回歸模型；而相關(guān)關(guān)系是數(shù)據(jù)挖掘中的重要內(nèi)容，基于強大的機器運算能力，代表是神經(jīng)網(wǎng)絡(luò)、決策樹算法，這使得人們不需要了解背后復(fù)雜的因果邏輯也可以獲得良好的分析和預(yù)測結(jié)果。但是，數(shù)據(jù)挖掘通常面向結(jié)構(gòu)化數(shù)據(jù)。大數(shù)據(jù)則還涉及數(shù)據(jù)的采集、提取、轉(zhuǎn)化、存儲等，且必然要面對非結(jié)構(gòu)化數(shù)據(jù)。

    ——大數(shù)據(jù)突破主要來自技術(shù)上的革新。表現(xiàn)在對多樣（Variety）、海量（Volume）、快速（Velocity）特征的“適應(yīng)”和“運用”上。一是存儲數(shù)據(jù)從結(jié)構(gòu)化向半結(jié)構(gòu)化、非結(jié)構(gòu)化拓展，如基于Web異構(gòu)環(huán)境下的網(wǎng)頁、文檔、報表、多媒體等，導(dǎo)致了一批基于非結(jié)構(gòu)化數(shù)據(jù)的專有挖掘算法的產(chǎn)生和發(fā)展。二是數(shù)據(jù)庫從關(guān)系型向非關(guān)系型、分布式拓展，關(guān)系型數(shù)據(jù)庫是以行和列的形式組織起來的結(jié)構(gòu)化數(shù)據(jù)表，如Excel表格，缺點在于存儲容量小、數(shù)據(jù)擴展性和多樣性差，而新的非關(guān)系型、分布式數(shù)據(jù)庫可以彌補上述不足。三是數(shù)據(jù)處理從靜態(tài)向?qū)崟r交互拓展，新的大規(guī)模分布式并行數(shù)據(jù)處理技術(shù)能夠?qū)崟r處理社交媒體和物聯(lián)網(wǎng)應(yīng)用產(chǎn)生的大量交互數(shù)據(jù)，有效應(yīng)對多樣和海量帶來的復(fù)雜度和時效性要求。

    ——技術(shù)革新直接促成了價值（Value）的實現(xiàn)。得益于上述技術(shù)，數(shù)據(jù)挖掘理論獲得了呈幾何倍數(shù)增長的數(shù)據(jù)量和處理能力，原本很多無法驗證的設(shè)想和方法得以實現(xiàn)。比如，傳統(tǒng)商業(yè)智能（BI）分析有一個“集中”步驟，即在分析前需要對大量數(shù)據(jù)抽取和集中化，形成一個完整的數(shù)據(jù)倉庫，這個步驟往往成為BI分析全過程的能力瓶頸。而基于大數(shù)據(jù)分布式技術(shù)的BI分析無需“集中”，大大提升了敏捷度和智能水平，從而推動機器學(xué)習(xí)、語義處理等領(lǐng)域發(fā)生重大突破，直接促成了Mahout機器學(xué)習(xí)算法集、Siri語音助手等一批商用化產(chǎn)品的問世。

    ——價值實現(xiàn)的潛力主要體現(xiàn)在數(shù)據(jù)開放戰(zhàn)略和數(shù)據(jù)驅(qū)動范式上。在戰(zhàn)略層面，數(shù)據(jù)處理從封閉、斷點、靜態(tài)向開放、海量、實時的轉(zhuǎn)變，引發(fā)了社區(qū)、眾包、網(wǎng)格等新業(yè)態(tài)、新模式蓬勃發(fā)展，在此基礎(chǔ)上將推動機構(gòu)數(shù)據(jù)開放和公眾共享運動的興起。在研究范式層面，科學(xué)研究出現(xiàn)從推理演繹驅(qū)動向數(shù)據(jù)驅(qū)動拓展的苗頭，如生物基因與健康等研發(fā)密集型產(chǎn)業(yè)開始向數(shù)據(jù)研究科學(xué)拓展，許多傳統(tǒng)的科學(xué)研究如歷史、文學(xué)等也開始嘗試運用數(shù)據(jù)分析技術(shù)。但上述重大變革目前尚未規(guī)?；瘜崿F(xiàn)，大數(shù)據(jù)現(xiàn)有技術(shù)水平的主要受益者仍然是互聯(lián)網(wǎng)產(chǎn)業(yè)和各類基于互聯(lián)網(wǎng)的商業(yè)模式。在信息基礎(chǔ)設(shè)施普及率、社會開放性以及與網(wǎng)絡(luò)智能交互技術(shù)的結(jié)合度沒有達到一定能級時，大數(shù)據(jù)的應(yīng)用是有限的，達不到面向社會的“無所不能”。

    ——互聯(lián)網(wǎng)企業(yè)是當前大數(shù)據(jù)價值實現(xiàn)的推動者和直接受益者。由于互聯(lián)網(wǎng)的發(fā)展在帶動大數(shù)據(jù)概念興起的過程中起到了重要作用，因此多家知名互聯(lián)網(wǎng)企業(yè)順勢掌握了大數(shù)據(jù)相關(guān)核心技術(shù)，推出了關(guān)鍵產(chǎn)品和服務(wù)。如谷歌公司研發(fā)了大數(shù)據(jù)“三核心”——文件系統(tǒng)（Google File System）、處理算法（MapReduce）和分布式數(shù)據(jù)庫（BigTable），打造了全球大數(shù)據(jù)開發(fā)的主流框架和范式。雅虎基于谷歌的算法思想，改進了Hadoop開源框架，向廣大企業(yè)和創(chuàng)業(yè)者開放，推動產(chǎn)業(yè)生態(tài)系統(tǒng)的不斷壯大；亞馬遜、臉譜、推特等企業(yè)在此框架基礎(chǔ)上開發(fā)各類功能性工具，并以數(shù)據(jù)為消費產(chǎn)品改善用戶體驗；而微軟、IBM等傳統(tǒng)IT企業(yè)在產(chǎn)業(yè)鏈上更多關(guān)注下游應(yīng)用，為各行業(yè)客戶提供系統(tǒng)解決方案。這些企業(yè)不僅可以從新技術(shù)產(chǎn)品和服務(wù)中獲得可觀的收入，還可以從占有的數(shù)據(jù)資源中獲利。

    ——大數(shù)據(jù)有助于進一步明晰云計算的價值。在云計算概念剛被提出的幾年里，許多政企行業(yè)用戶對其應(yīng)用價值一直存在疑慮。而隨著大數(shù)據(jù)的異軍突起，云計算的價值又一次受到公眾的關(guān)注。由于云計算幫助解決了大數(shù)據(jù)無法進行抓取、管理和處理的問題，給予了它不同以往的存儲和計算能力，使得結(jié)果獲取更快速、分析更智慧。可以預(yù)見，在未來云計算將成為大數(shù)據(jù)應(yīng)用分析最活躍的舞臺。同樣，大數(shù)據(jù)為云計算大規(guī)模與分布式的計算能力提供了應(yīng)用的空間，解決了傳統(tǒng)計算機無法解決的問題，從而進一步明晰了云計算的價值。

    ——需警惕大數(shù)據(jù)至上主義。大數(shù)據(jù)支持者的一個重要論斷是：基于全量，大數(shù)據(jù)分析的準確性將超越傳統(tǒng)數(shù)理統(tǒng)計，因果關(guān)系將為相關(guān)關(guān)系所取代。而事實并非如此樂觀，一方面，經(jīng)歷四百年發(fā)展的傳統(tǒng)數(shù)理統(tǒng)計沒有過時，仍然在經(jīng)濟社會各方面發(fā)揮著重要作用。比如，抽樣是一門古老且成熟的統(tǒng)計方法，如果目標明確、方法科學(xué)，其在絕大多數(shù)情況下得出結(jié)論的正確性，并不遜于全量數(shù)據(jù)。客觀上看，全量的價值更多體現(xiàn)在一些傳統(tǒng)數(shù)理統(tǒng)計基本假設(shè)可能失效之處，如互聯(lián)網(wǎng)“長尾”現(xiàn)象的出現(xiàn)，導(dǎo)致正態(tài)分布、帕累托法則在個別領(lǐng)域不再適用，此時需要依靠全量數(shù)據(jù)尋求規(guī)律。另一方面，全量伴生的“噪音”有時會影響精準度。例如，被譽為大數(shù)據(jù)杰出案例的“谷歌流感趨勢”近期陷入低谷，錯誤率高達90%以上，不能預(yù)測甲型H1N1等重大疫情。它的核心邏輯是：搜索“流感”的人數(shù)與實際患癥的人數(shù)之間存在相關(guān)性，而事實上，即便去醫(yī)院看流感的人都有80%—90%實際沒有得流感，表面的網(wǎng)絡(luò)搜索行為與可靠的信息來源還存在較大差距以及“去噪”過程。很多專家認為，就目前而言，相關(guān)關(guān)系還不足以替代因果關(guān)系，而只是作為其補充。