大數(shù)據(jù)存儲(chǔ)與應(yīng)用特點(diǎn)及技術(shù)路線分析

大數(shù)據(jù)時(shí)代，數(shù)據(jù)呈爆炸式增長(zhǎng)。從存儲(chǔ)服務(wù)的發(fā)展趨勢(shì)來看，一方面，對(duì)數(shù)據(jù)的存儲(chǔ)量的需求越來越大；另一方面，對(duì)數(shù)據(jù)的有效管理提出了更高的要求。大數(shù)據(jù)對(duì)存儲(chǔ)設(shè)備的容量、讀寫性能、可靠性、擴(kuò)展性等都提出了更高的要求，需要充分考慮功能集成度、數(shù)據(jù)安全性、數(shù)據(jù)穩(wěn)定性，系統(tǒng)可擴(kuò)展性、性能及成本各方面因素。

大數(shù)據(jù)存儲(chǔ)與應(yīng)用的特點(diǎn)分析

“大數(shù)據(jù)”是由數(shù)量巨大、結(jié)構(gòu)復(fù)雜、類型眾多數(shù)據(jù)構(gòu)成的數(shù)據(jù)集合，是基于云計(jì)算的數(shù)據(jù)處理與應(yīng)用模式，通過數(shù)據(jù)的整合共享，交叉復(fù)用形成的智力資源和知識(shí)服務(wù)能力。其常見特點(diǎn)可以概括為3V:Volume、Velocity、Variety(規(guī)模大、速度快、多樣性)。

大數(shù)據(jù)具有數(shù)據(jù)規(guī)模大(Volume)且增長(zhǎng)速度快的特性，其數(shù)據(jù)規(guī)模已經(jīng)從PB級(jí)別增長(zhǎng)到EB級(jí)別，并且仍在不斷地根據(jù)實(shí)際應(yīng)用的需求和企業(yè)的再發(fā)展繼續(xù)擴(kuò)容，飛速向著ZB(ZETA-BYTE)的規(guī)模進(jìn)軍。以國(guó)內(nèi)最大的電子商務(wù)企業(yè)淘寶為例，根據(jù)淘寶網(wǎng)的數(shù)據(jù)顯示，至2011年底，淘寶網(wǎng)最高單日獨(dú)立用戶訪問量超過1.2億人，比2010年同期增長(zhǎng)120%,注冊(cè)用戶數(shù)量超過4億，在線商品數(shù)量達(dá)到8億，頁面瀏覽量達(dá)到20億規(guī)模，淘寶網(wǎng)每天產(chǎn)生4億條產(chǎn)品信息，每天活躍數(shù)據(jù)量已經(jīng)超過50TB.所以大數(shù)據(jù)的存儲(chǔ)或者處理系統(tǒng)不僅能夠滿足當(dāng)前數(shù)據(jù)規(guī)模需求，更需要有很強(qiáng)的可擴(kuò)展性以滿足快速增長(zhǎng)的需求。

(1)大數(shù)據(jù)的存儲(chǔ)及處理不僅在于規(guī)模之大，更加要求其傳輸及處理的響應(yīng)速度快(Velocity)。

相對(duì)于以往較小規(guī)模的數(shù)據(jù)處理，在數(shù)據(jù)中心處理大規(guī)模數(shù)據(jù)時(shí)，需要服務(wù)集群有很高的吞吐量才能夠讓巨量的數(shù)據(jù)在應(yīng)用開發(fā)人員“可接受”的時(shí)間內(nèi)完成任務(wù)。這不僅是對(duì)于各種應(yīng)用層面的計(jì)算性能要求，更加是對(duì)大數(shù)據(jù)存儲(chǔ)管理系統(tǒng)的讀寫吞吐量的要求。例如個(gè)人用戶在網(wǎng)站選購(gòu)自己感興趣的貨物，網(wǎng)站則根據(jù)用戶的購(gòu)買或者瀏覽網(wǎng)頁行為實(shí)時(shí)進(jìn)行相關(guān)廣告的推薦，這需要應(yīng)用的實(shí)時(shí)反饋;又例如電子商務(wù)網(wǎng)站的數(shù)據(jù)分析師根據(jù)購(gòu)物者在當(dāng)季搜索較為熱門的關(guān)鍵詞，為商家提供推薦的貨物關(guān)鍵字，面對(duì)每日上億的訪問記錄要求機(jī)器學(xué)習(xí)算法在幾天內(nèi)給出較為準(zhǔn)確的推薦，否則就丟失了其失效性；更或者是出租車行駛在城市的道路上，通過GPS反饋的信息及監(jiān)控設(shè)備實(shí)時(shí)路況信息，大數(shù)據(jù)處理系統(tǒng)需要不斷地給出較為便捷路徑的選擇。這些都要求大數(shù)據(jù)的應(yīng)用層可以最快的速度，最高的帶寬從存儲(chǔ)介質(zhì)中獲得相關(guān)海量的數(shù)據(jù)。另外一方面，海量數(shù)據(jù)存儲(chǔ)管理系統(tǒng)與傳統(tǒng)的數(shù)據(jù)庫(kù)管理系統(tǒng)，或者基于磁帶的備份系統(tǒng)之間也在發(fā)生數(shù)據(jù)交換，雖然這種交換實(shí)時(shí)性不高可以離線完成，但是由于數(shù)據(jù)規(guī)模的龐大，較低的數(shù)據(jù)傳輸帶寬也會(huì)降低數(shù)據(jù)傳輸?shù)男剩斐蓴?shù)據(jù)遷移瓶頸。因此大數(shù)據(jù)的存儲(chǔ)與處理的速度或是帶寬是其性能上的重要指標(biāo)。

(2)大數(shù)據(jù)由于其來源的不同，具有數(shù)據(jù)多樣性的特點(diǎn)。

所謂多樣性，一是指數(shù)據(jù)結(jié)構(gòu)化程度，二是指存儲(chǔ)格式，三是存儲(chǔ)介質(zhì)多樣性。對(duì)于傳統(tǒng)的數(shù)據(jù)庫(kù)，其存儲(chǔ)的數(shù)據(jù)都是結(jié)構(gòu)化數(shù)據(jù)，格式規(guī)整，相反大數(shù)據(jù)來源于日志、歷史數(shù)據(jù)、用戶行為記錄等等，有的是結(jié)構(gòu)化數(shù)據(jù)，而更多的是半結(jié)構(gòu)化或者非結(jié)構(gòu)化數(shù)據(jù)，這也正是傳統(tǒng)數(shù)據(jù)庫(kù)存儲(chǔ)技術(shù)無法適應(yīng)大數(shù)據(jù)存儲(chǔ)的重要原因之一。所謂存儲(chǔ)格式，也正是由于其數(shù)據(jù)來源不同，應(yīng)用算法繁多，數(shù)據(jù)結(jié)構(gòu)化程度不同，其格式也多種多樣。例如有的是以文本文件格式存儲(chǔ)，有的則是網(wǎng)頁文件，有的是一些被序列化后的比特流文件等等。所謂存儲(chǔ)介質(zhì)多樣性是指硬件的兼容，大數(shù)據(jù)應(yīng)用需要滿足不同的響應(yīng)速度需求，因此其數(shù)據(jù)管理提倡分層管理機(jī)制，例如較為實(shí)時(shí)或者流數(shù)據(jù)的響應(yīng)可以直接從內(nèi)存或者Flash(SSD)中存取，而離線的批處理可以建立在帶有多塊磁盤的存儲(chǔ)服務(wù)器上，有的可以存放在傳統(tǒng)的SAN或者NAS網(wǎng)絡(luò)存儲(chǔ)設(shè)備上，而備份數(shù)據(jù)甚至可以存放在磁帶機(jī)上。因而大數(shù)據(jù)的存儲(chǔ)或者處理系統(tǒng)必須對(duì)多種數(shù)據(jù)及軟硬件平臺(tái)有較好的兼容性來適應(yīng)各種應(yīng)用算法或者數(shù)據(jù)提取轉(zhuǎn)換與加載(ETL)。

大數(shù)據(jù)存儲(chǔ)技術(shù)路線最典型的共有三種：

第一種是采用MPP架構(gòu)的新型數(shù)據(jù)庫(kù)集群，重點(diǎn)面向行業(yè)大數(shù)據(jù)，采用Shared Nothing架構(gòu)，通過列存儲(chǔ)、粗粒度索引等多項(xiàng)大數(shù)據(jù)處理技術(shù)，再結(jié)合MPP架構(gòu)高效的分布式計(jì)算模式，完成對(duì)分析類應(yīng)用的支撐，運(yùn)行環(huán)境多為低成本 PC Server，具有高性能和高擴(kuò)展性的特點(diǎn)，在企業(yè)分析類應(yīng)用領(lǐng)域獲得極其廣泛的應(yīng)用。

這類MPP產(chǎn)品可以有效支撐PB級(jí)別的結(jié)構(gòu)化數(shù)據(jù)分析，這是傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)無法勝任的。對(duì)于企業(yè)新一代的數(shù)據(jù)倉(cāng)庫(kù)和結(jié)構(gòu)化數(shù)據(jù)分析，目前最佳選擇是MPP數(shù)據(jù)庫(kù)。

第二種是基于Hadoop的技術(shù)擴(kuò)展和封裝，圍繞Hadoop衍生出相關(guān)的大數(shù)據(jù)技術(shù)，應(yīng)對(duì)傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)較難處理的數(shù)據(jù)和場(chǎng)景，例如針對(duì)非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和計(jì)算等，充分利用Hadoop開源的優(yōu)勢(shì)，伴隨相關(guān)技術(shù)的不斷進(jìn)步，其應(yīng)用場(chǎng)景也將逐步擴(kuò)大，目前最為典型的應(yīng)用場(chǎng)景就是通過擴(kuò)展和封裝 Hadoop來實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)、分析的支撐。這里面有幾十種NoSQL技術(shù)，也在進(jìn)一步的細(xì)分。對(duì)于非結(jié)構(gòu)、半結(jié)構(gòu)化數(shù)據(jù)處理、復(fù)雜的ETL流程、復(fù)雜的數(shù)據(jù)挖掘和計(jì)算模型，Hadoop平臺(tái)更擅長(zhǎng)。

第三種是大數(shù)據(jù)一體機(jī)，這是一種專為大數(shù)據(jù)的分析處理而設(shè)計(jì)的軟、硬件結(jié)合的產(chǎn)品，由一組集成的服務(wù)器、存儲(chǔ)設(shè)備、操作系統(tǒng)、數(shù)據(jù)庫(kù)管理系統(tǒng)以及為數(shù)據(jù)查詢、處理、分析用途而特別預(yù)先安裝及優(yōu)化的軟件組成，高性能大數(shù)據(jù)一體機(jī)具有良好的穩(wěn)定性和縱向擴(kuò)展性。