大數(shù)據(jù)產(chǎn)業(yè)鏈基本架構(gòu)_數(shù)據(jù)分析師

大數(shù)據(jù)概念的升溫，引來(lái)了很多爭(zhēng)議。有人稱(chēng)之為“新瓶裝舊酒”，也有人認(rèn)為大數(shù)據(jù)的機(jī)遇被過(guò)于夸大。其實(shí)，這些都與沒(méi)有真正理解大數(shù)據(jù)的本質(zhì)有關(guān)。任何事物的發(fā)展都有其客觀規(guī)律，大數(shù)據(jù)并非是“石頭里蹦出來(lái)的孫悟空”，它也有自己的“親生父母”——計(jì)算機(jī)科學(xué)和數(shù)據(jù)科學(xué)。正是由于兩者的融合，以及生命科學(xué)、地理科學(xué)甚至社會(huì)科學(xué)等各領(lǐng)域數(shù)據(jù)化程度的加深，才使得大數(shù)據(jù)擁有不同尋常的“基因”。而且，隨著互聯(lián)網(wǎng)產(chǎn)業(yè)的成熟，物聯(lián)網(wǎng)、云計(jì)算概念的落地，數(shù)據(jù)驅(qū)動(dòng)創(chuàng)新觀念的深入人心，大數(shù)據(jù)的用武之地將更為廣泛，所能帶來(lái)的變革潛力也將不可限量。

    關(guān)于大數(shù)據(jù)，有如下幾個(gè)重要判斷和觀點(diǎn)：

    ——大數(shù)據(jù)思維源于數(shù)據(jù)挖掘（Data Mining）又高于數(shù)據(jù)挖掘。也可以說(shuō)，數(shù)據(jù)挖掘是大數(shù)據(jù)的“近親”。數(shù)據(jù)挖掘借助計(jì)算機(jī)從海量數(shù)據(jù)中發(fā)現(xiàn)隱含的知識(shí)和規(guī)律，是一門(mén)融合了計(jì)算機(jī)、統(tǒng)計(jì)等領(lǐng)域知識(shí)的交叉學(xué)科，其核心的人工智能、機(jī)器學(xué)習(xí)、模式識(shí)別等理論，在上世紀(jì)90年代推行知識(shí)管理時(shí)已有顯著進(jìn)展。從本質(zhì)上看，大數(shù)據(jù)帶來(lái)的“思維大變革”以及一些數(shù)據(jù)驅(qū)動(dòng)類(lèi)的商業(yè)智能（Business Intelligence）模式創(chuàng)新，都是數(shù)據(jù)挖掘理論的延伸，表達(dá)為“數(shù)據(jù)挖掘相對(duì)于數(shù)理統(tǒng)計(jì)帶來(lái)的思維變革”或許更加準(zhǔn)確。比如，因果關(guān)系是數(shù)理統(tǒng)計(jì)中的重要內(nèi)容，基于完善的數(shù)學(xué)理論，代表是回歸模型；而相關(guān)關(guān)系是數(shù)據(jù)挖掘中的重要內(nèi)容，基于強(qiáng)大的機(jī)器運(yùn)算能力，代表是神經(jīng)網(wǎng)絡(luò)、決策樹(shù)算法，這使得人們不需要了解背后復(fù)雜的因果邏輯也可以獲得良好的分析和預(yù)測(cè)結(jié)果。但是，數(shù)據(jù)挖掘通常面向結(jié)構(gòu)化數(shù)據(jù)。大數(shù)據(jù)則還涉及數(shù)據(jù)的采集、提取、轉(zhuǎn)化、存儲(chǔ)等，且必然要面對(duì)非結(jié)構(gòu)化數(shù)據(jù)。

    ——大數(shù)據(jù)突破主要來(lái)自技術(shù)上的革新。表現(xiàn)在對(duì)多樣（Variety）、海量（Volume）、快速（Velocity）特征的“適應(yīng)”和“運(yùn)用”上。一是存儲(chǔ)數(shù)據(jù)從結(jié)構(gòu)化向半結(jié)構(gòu)化、非結(jié)構(gòu)化拓展，如基于Web異構(gòu)環(huán)境下的網(wǎng)頁(yè)、文檔、報(bào)表、多媒體等，導(dǎo)致了一批基于非結(jié)構(gòu)化數(shù)據(jù)的專(zhuān)有挖掘算法的產(chǎn)生和發(fā)展。二是數(shù)據(jù)庫(kù)從關(guān)系型向非關(guān)系型、分布式拓展，關(guān)系型數(shù)據(jù)庫(kù)是以行和列的形式組織起來(lái)的結(jié)構(gòu)化數(shù)據(jù)表，如Excel表格，缺點(diǎn)在于存儲(chǔ)容量小、數(shù)據(jù)擴(kuò)展性和多樣性差，而新的非關(guān)系型、分布式數(shù)據(jù)庫(kù)可以彌補(bǔ)上述不足。三是數(shù)據(jù)處理從靜態(tài)向?qū)崟r(shí)交互拓展，新的大規(guī)模分布式并行數(shù)據(jù)處理技術(shù)能夠?qū)崟r(shí)處理社交媒體和物聯(lián)網(wǎng)應(yīng)用產(chǎn)生的大量交互數(shù)據(jù)，有效應(yīng)對(duì)多樣和海量帶來(lái)的復(fù)雜度和時(shí)效性要求。

    ——技術(shù)革新直接促成了價(jià)值（Value）的實(shí)現(xiàn)。得益于上述技術(shù)，數(shù)據(jù)挖掘理論獲得了呈幾何倍數(shù)增長(zhǎng)的數(shù)據(jù)量和處理能力，原本很多無(wú)法驗(yàn)證的設(shè)想和方法得以實(shí)現(xiàn)。比如，傳統(tǒng)商業(yè)智能（BI）分析有一個(gè)“集中”步驟，即在分析前需要對(duì)大量數(shù)據(jù)抽取和集中化，形成一個(gè)完整的數(shù)據(jù)倉(cāng)庫(kù)，這個(gè)步驟往往成為BI分析全過(guò)程的能力瓶頸。而基于大數(shù)據(jù)分布式技術(shù)的BI分析無(wú)需“集中”，大大提升了敏捷度和智能水平，從而推動(dòng)機(jī)器學(xué)習(xí)、語(yǔ)義處理等領(lǐng)域發(fā)生重大突破，直接促成了Mahout機(jī)器學(xué)習(xí)算法集、Siri語(yǔ)音助手等一批商用化產(chǎn)品的問(wèn)世。

    ——價(jià)值實(shí)現(xiàn)的潛力主要體現(xiàn)在數(shù)據(jù)開(kāi)放戰(zhàn)略和數(shù)據(jù)驅(qū)動(dòng)范式上。在戰(zhàn)略層面，數(shù)據(jù)處理從封閉、斷點(diǎn)、靜態(tài)向開(kāi)放、海量、實(shí)時(shí)的轉(zhuǎn)變，引發(fā)了社區(qū)、眾包、網(wǎng)格等新業(yè)態(tài)、新模式蓬勃發(fā)展，在此基礎(chǔ)上將推動(dòng)機(jī)構(gòu)數(shù)據(jù)開(kāi)放和公眾共享運(yùn)動(dòng)的興起。在研究范式層面，科學(xué)研究出現(xiàn)從推理演繹驅(qū)動(dòng)向數(shù)據(jù)驅(qū)動(dòng)拓展的苗頭，如生物基因與健康等研發(fā)密集型產(chǎn)業(yè)開(kāi)始向數(shù)據(jù)研究科學(xué)拓展，許多傳統(tǒng)的科學(xué)研究如歷史、文學(xué)等也開(kāi)始嘗試運(yùn)用數(shù)據(jù)分析技術(shù)。但上述重大變革目前尚未規(guī)?；瘜?shí)現(xiàn)，大數(shù)據(jù)現(xiàn)有技術(shù)水平的主要受益者仍然是互聯(lián)網(wǎng)產(chǎn)業(yè)和各類(lèi)基于互聯(lián)網(wǎng)的商業(yè)模式。在信息基礎(chǔ)設(shè)施普及率、社會(huì)開(kāi)放性以及與網(wǎng)絡(luò)智能交互技術(shù)的結(jié)合度沒(méi)有達(dá)到一定能級(jí)時(shí)，大數(shù)據(jù)的應(yīng)用是有限的，達(dá)不到面向社會(huì)的“無(wú)所不能”。

    ——互聯(lián)網(wǎng)企業(yè)是當(dāng)前大數(shù)據(jù)價(jià)值實(shí)現(xiàn)的推動(dòng)者和直接受益者。由于互聯(lián)網(wǎng)的發(fā)展在帶動(dòng)大數(shù)據(jù)概念興起的過(guò)程中起到了重要作用，因此多家知名互聯(lián)網(wǎng)企業(yè)順勢(shì)掌握了大數(shù)據(jù)相關(guān)核心技術(shù)，推出了關(guān)鍵產(chǎn)品和服務(wù)。如谷歌公司研發(fā)了大數(shù)據(jù)“三核心”——文件系統(tǒng)（Google File System）、處理算法（MapReduce）和分布式數(shù)據(jù)庫(kù)（BigTable），打造了全球大數(shù)據(jù)開(kāi)發(fā)的主流框架和范式。雅虎基于谷歌的算法思想，改進(jìn)了Hadoop開(kāi)源框架，向廣大企業(yè)和創(chuàng)業(yè)者開(kāi)放，推動(dòng)產(chǎn)業(yè)生態(tài)系統(tǒng)的不斷壯大；亞馬遜、臉譜、推特等企業(yè)在此框架基礎(chǔ)上開(kāi)發(fā)各類(lèi)功能性工具，并以數(shù)據(jù)為消費(fèi)產(chǎn)品改善用戶(hù)體驗(yàn)；而微軟、IBM等傳統(tǒng)IT企業(yè)在產(chǎn)業(yè)鏈上更多關(guān)注下游應(yīng)用，為各行業(yè)客戶(hù)提供系統(tǒng)解決方案。這些企業(yè)不僅可以從新技術(shù)產(chǎn)品和服務(wù)中獲得可觀的收入，還可以從占有的數(shù)據(jù)資源中獲利。

    ——大數(shù)據(jù)有助于進(jìn)一步明晰云計(jì)算的價(jià)值。在云計(jì)算概念剛被提出的幾年里，許多政企行業(yè)用戶(hù)對(duì)其應(yīng)用價(jià)值一直存在疑慮。而隨著大數(shù)據(jù)的異軍突起，云計(jì)算的價(jià)值又一次受到公眾的關(guān)注。由于云計(jì)算幫助解決了大數(shù)據(jù)無(wú)法進(jìn)行抓取、管理和處理的問(wèn)題，給予了它不同以往的存儲(chǔ)和計(jì)算能力，使得結(jié)果獲取更快速、分析更智慧?？梢灶A(yù)見(jiàn)，在未來(lái)云計(jì)算將成為大數(shù)據(jù)應(yīng)用分析最活躍的舞臺(tái)。同樣，大數(shù)據(jù)為云計(jì)算大規(guī)模與分布式的計(jì)算能力提供了應(yīng)用的空間，解決了傳統(tǒng)計(jì)算機(jī)無(wú)法解決的問(wèn)題，從而進(jìn)一步明晰了云計(jì)算的價(jià)值。

    ——需警惕大數(shù)據(jù)至上主義。大數(shù)據(jù)支持者的一個(gè)重要論斷是：基于全量，大數(shù)據(jù)分析的準(zhǔn)確性將超越傳統(tǒng)數(shù)理統(tǒng)計(jì)，因果關(guān)系將為相關(guān)關(guān)系所取代。而事實(shí)并非如此樂(lè)觀，一方面，經(jīng)歷四百年發(fā)展的傳統(tǒng)數(shù)理統(tǒng)計(jì)沒(méi)有過(guò)時(shí)，仍然在經(jīng)濟(jì)社會(huì)各方面發(fā)揮著重要作用。比如，抽樣是一門(mén)古老且成熟的統(tǒng)計(jì)方法，如果目標(biāo)明確、方法科學(xué)，其在絕大多數(shù)情況下得出結(jié)論的正確性，并不遜于全量數(shù)據(jù)?？陀^上看，全量的價(jià)值更多體現(xiàn)在一些傳統(tǒng)數(shù)理統(tǒng)計(jì)基本假設(shè)可能失效之處，如互聯(lián)網(wǎng)“長(zhǎng)尾”現(xiàn)象的出現(xiàn)，導(dǎo)致正態(tài)分布、帕累托法則在個(gè)別領(lǐng)域不再適用，此時(shí)需要依靠全量數(shù)據(jù)尋求規(guī)律。另一方面，全量伴生的“噪音”有時(shí)會(huì)影響精準(zhǔn)度。例如，被譽(yù)為大數(shù)據(jù)杰出案例的“谷歌流感趨勢(shì)”近期陷入低谷，錯(cuò)誤率高達(dá)90%以上，不能預(yù)測(cè)甲型H1N1等重大疫情。它的核心邏輯是：搜索“流感”的人數(shù)與實(shí)際患癥的人數(shù)之間存在相關(guān)性，而事實(shí)上，即便去醫(yī)院看流感的人都有80%—90%實(shí)際沒(méi)有得流感，表面的網(wǎng)絡(luò)搜索行為與可靠的信息來(lái)源還存在較大差距以及“去噪”過(guò)程。很多專(zhuān)家認(rèn)為，就目前而言，相關(guān)關(guān)系還不足以替代因果關(guān)系，而只是作為其補(bǔ)充。