大數(shù)據(jù)實踐 基礎(chǔ)架構(gòu)先行_數(shù)據(jù)分析師

大數(shù)據(jù)被認為是下一個創(chuàng)新、競爭和生產(chǎn)力的前沿，誰率先抓住大數(shù)據(jù)的先機即意味著能夠在未來市場競爭之中取得桿位。當前大數(shù)據(jù)市場除了傳統(tǒng)廠商之外，還同時涌現(xiàn)出一大批創(chuàng)新技術(shù)廠商，并且像零售、金融、互聯(lián)網(wǎng)、政府機構(gòu)、科研教育等行業(yè)用戶對于大數(shù)據(jù)的認知與認可大大超過了以往任何一項IT技術(shù)。歸根結(jié)底，這是因為大數(shù)據(jù)能夠?qū)I(yè)務(wù)產(chǎn)生最直接的影響。因此，國內(nèi)外用戶紛紛開始對采用、部署大數(shù)據(jù)解決方案或技術(shù)躍躍欲試，就像著名調(diào)研機構(gòu)Garnter的技術(shù)發(fā)展規(guī)律周期（Hype Cycle）所述，大數(shù)據(jù)當前處于上升期和快速發(fā)展時期，人們當前對于大數(shù)據(jù)的期望值也是越來越高。從而使得很多用戶并不能夠冷靜思考和對待大數(shù)據(jù)，甚至一開始狂熱追求各種大數(shù)據(jù)分析技術(shù)與算法，這種本末倒置的做法最終很大可能會讓期望走向功虧一簣。俗話說，工欲善其事必先利其器，在大數(shù)據(jù)實踐之中，基礎(chǔ)架構(gòu)就猶如基石一般，是構(gòu)建一切的基礎(chǔ)，基礎(chǔ)架構(gòu)基石不穩(wěn)，大數(shù)據(jù)“大廈將傾”，具有優(yōu)秀的基礎(chǔ)架構(gòu)才能夠讓用戶在未來的大數(shù)據(jù)之路中越走越寬。

    圖一：Garnter著名的技術(shù)發(fā)展規(guī)律周期（Hype Cycle）圖，每項技術(shù)的發(fā)展過程均可分為五個階段：上升期、快速發(fā)展期、下降期、爬坡期和穩(wěn)定應(yīng)用期，當前大數(shù)據(jù)異常火爆，正在快速發(fā)展期。

    大數(shù)據(jù)時代下的基礎(chǔ)架構(gòu)挑戰(zhàn)

    毫無疑問，大數(shù)據(jù)時代下，要想實現(xiàn)更大的業(yè)務(wù)價值，首先需要解決的就是基礎(chǔ)架構(gòu)問題，基礎(chǔ)架構(gòu)之中存儲又是重中之重。當前趨勢下，社交媒體、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、多媒體應(yīng)用等趨勢興起使得非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)大幅增長，加上傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)增長，用戶的整體數(shù)據(jù)量呈現(xiàn)出海量、高增長的狀態(tài)。如何面對數(shù)據(jù)源繁多、數(shù)據(jù)增長速度快速、數(shù)據(jù)種類豐富化、數(shù)據(jù)存取形式復(fù)雜化以及應(yīng)用需求多樣化就成為當前大部分用戶首要面對的挑戰(zhàn)和難題。

    圖二：全球知名調(diào)研機構(gòu)IDC公司 對全球數(shù)據(jù)增長以及數(shù)據(jù)類型分布情況的調(diào)研與預(yù)測，未來幾年，數(shù)據(jù)增長會越來越快，其中非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)所占比重將會越來越大。

    著名咨詢機構(gòu)麥肯錫認為，大數(shù)據(jù)是指其大小超出了典型數(shù)據(jù)庫軟件的采集、存儲、管理和分析等能力的數(shù)據(jù)集。大數(shù)據(jù)公認的4V特征包括：容量、類型、速度以及價值（volume、variety、velocity和value）。著名調(diào)研機構(gòu)IDC對于大數(shù)據(jù)技術(shù)定位為：通過高速捕捉、發(fā)現(xiàn)和/或分析，從大容量數(shù)據(jù)中獲取價值的一種新的技術(shù)架構(gòu)。另外一方面，我們也可以發(fā)現(xiàn)當前對于大數(shù)據(jù)的一個誤區(qū)廣泛存在于用戶之中：當前仍然有很大一部分用戶認為新興起的Hadoop技術(shù)、商業(yè)智能分析（BI）這些就意味著大數(shù)據(jù)，他們認為掌控好Hadoop或者BI即可掌控大數(shù)據(jù)。事實上，大數(shù)據(jù)不僅僅是Hadoop或者商業(yè)智能分析，這些熱門技術(shù)是大數(shù)據(jù)分析和處理過程中當前熱門的領(lǐng)域，而要想真正實現(xiàn)大數(shù)據(jù)的價值、為業(yè)務(wù)發(fā)展服務(wù)，則需要從全面的角度考慮，比如：大數(shù)據(jù)不僅僅是海量小文件數(shù)據(jù)，那些容量巨大的文件數(shù)據(jù)同樣屬于大數(shù)據(jù)的范疇，你的基礎(chǔ)架構(gòu)是否同時能夠快速、有效地應(yīng)對不同類型、大小的文件數(shù)據(jù)的存儲、分析與處理呢？因此，對于用戶的基礎(chǔ)架構(gòu)而言，在容量足夠大的數(shù)據(jù)存儲需求前提下，首先需要更高的速度和存儲效率來滿足海量數(shù)據(jù)存儲，從而可以滿足多樣性的數(shù)據(jù)要求，最終實現(xiàn)大數(shù)據(jù)存儲的價值。

    圖三：大數(shù)據(jù)公認的4V特征：容量、類型、速度以及價值，大數(shù)據(jù)這四個特征使得傳統(tǒng)基礎(chǔ)架構(gòu)已經(jīng)無法應(yīng)對，要想實現(xiàn)價值這個環(huán)節(jié)，首先需要在基礎(chǔ)架構(gòu)上做好充足的準備。

    圖四：2012針對大數(shù)據(jù)應(yīng)用需求的調(diào)查，在目前企業(yè)數(shù)據(jù)系統(tǒng)架構(gòu)中主要存在著擴展性差、資源利用率低、應(yīng)用部署復(fù)雜、運營成本高等問題。

    因此，傳統(tǒng)存儲產(chǎn)品由于自身的設(shè)計缺陷，在擴展性方面、與上層應(yīng)用集成度、高性能、自動化能力、成本等方面已經(jīng)很難滿足大數(shù)據(jù)諸多的存儲特征，根本很難肩負起企業(yè)大數(shù)據(jù)存儲、分析以及應(yīng)用的諸多需求。尤其當前數(shù)據(jù)的類型豐富程度、容量愈發(fā)變大的情況下，并且在業(yè)務(wù)部門跟IT日益緊密的趨勢下，對于數(shù)據(jù)的存儲與分析的速度和性能要求越來越高，對海量數(shù)據(jù)的快速、高效存儲絕對應(yīng)該是大數(shù)據(jù)時代存儲系統(tǒng)的第一必備要求，否則大數(shù)據(jù)后續(xù)相關(guān)的數(shù)據(jù)分析、處理都將成為空談。對于用戶而言，尋求符合大數(shù)據(jù)時代下全新需求的存儲產(chǎn)品就成為大勢所趨。據(jù)悉，華為將于9月2號在上海世博中心舉辦云計算大會，其中海量存儲分論壇將于9月2號下午召開，該分論壇將重點討論大數(shù)據(jù)存儲發(fā)展趨勢和行業(yè)洞察。參會者將能了解到華為大數(shù)據(jù)存儲戰(zhàn)略以及大數(shù)據(jù)技術(shù)在石油、衛(wèi)星測繪等行業(yè)領(lǐng)域的應(yīng)用，對于國內(nèi)想了解大數(shù)據(jù)存儲相關(guān)內(nèi)容的用戶將會是一次難得的良機。

    看清大數(shù)據(jù)趨勢 不再霧里看花

    在大數(shù)據(jù)時代下，大數(shù)據(jù)存儲產(chǎn)品顯然要比傳統(tǒng)存儲產(chǎn)品考慮更多因素，目前市場中已經(jīng)有很多專門為大數(shù)據(jù)應(yīng)用設(shè)計和開發(fā)的存儲系統(tǒng)，這其中包括國內(nèi)和國外諸多廠商的產(chǎn)品。雖然有很多產(chǎn)品可供大家參考和選擇。但是對于用戶而言，能夠看清大數(shù)據(jù)基礎(chǔ)架構(gòu)的發(fā)展趨勢，則可在基礎(chǔ)架構(gòu)建設(shè)方面不再霧里看花。

    趨勢一：容量大、易擴展。眾人皆知，大數(shù)據(jù)的容量往往是PB級別，甚至有些用戶的數(shù)據(jù)量開始達到EB級別，這要求未來的存儲系統(tǒng)能夠具備容量大、易擴展的特點。

    趨勢二：高性能。大數(shù)據(jù)的一大特征即為速度，要求存儲系統(tǒng)能夠快速存儲數(shù)據(jù)，因此這要求存儲系統(tǒng)的響應(yīng)速度能夠符合大數(shù)據(jù)的要求。

    趨勢三：多集成。大數(shù)據(jù)時代下，數(shù)據(jù)來源廣泛與復(fù)雜，不同類型的數(shù)據(jù)訪問、處理和分析的方式不同，這就要求大數(shù)據(jù)時代下存儲系統(tǒng)的接口集成化，使得大數(shù)據(jù)存儲系統(tǒng)能夠應(yīng)對不同的數(shù)據(jù)需求。

    趨勢四：自動化。由于大數(shù)據(jù)使得數(shù)據(jù)量大幅增加以及數(shù)據(jù)處理流程、方式更加復(fù)雜，給存儲系統(tǒng)的管理、維護變得更加復(fù)雜。因此，管理自動化也是衡量大數(shù)據(jù)存儲系統(tǒng)的重要趨勢。

    趨勢五：安全可靠。大數(shù)據(jù)最為核心的價值所在即為數(shù)據(jù)，因此確保數(shù)據(jù)的安全可靠也是大數(shù)據(jù)存儲需要重點考慮的因素。保證數(shù)據(jù)的可用性、完整性和持久化都是未來存儲系統(tǒng)所必備的趨勢。

    趨勢六：彈性成本。大數(shù)據(jù)并不意味著用戶必須要在基礎(chǔ)架構(gòu)上一次性投入大額成本，具有彈性、可擴展的存儲系統(tǒng)能夠幫助用戶實現(xiàn)彈性成本，讓不同層面的用戶都能在大數(shù)據(jù)浪潮中淘金。

    綜述

    追本溯源，在大數(shù)據(jù)時代下，我們往往不能只將眼光盯在數(shù)據(jù)分析與處理層面，用戶在嘗試大數(shù)據(jù)解決方案之前，更應(yīng)從全面角度去審視自身的基礎(chǔ)架構(gòu)是否適合大數(shù)據(jù)未來的需求與發(fā)展——大數(shù)據(jù)實踐，基礎(chǔ)架構(gòu)先行。只有如此，方能在大數(shù)據(jù)浪潮之中淘得金！