大數(shù)據(jù)項(xiàng)目如何更科學(xué)地規(guī)劃數(shù)據(jù)存儲(chǔ)問題呢？

 大數(shù)據(jù)項(xiàng)目項(xiàng)目的業(yè)務(wù)背景一般都是比較復(fù)雜的，所以數(shù)據(jù)來源及數(shù)據(jù)種類也是參差不齊，那么，我們需要怎樣更好地規(guī)劃數(shù)據(jù)存儲(chǔ)方面的東西呢？

    首先，我們來說說為什么我們需要關(guān)注數(shù)據(jù)存儲(chǔ)的問題。第一，上面也說了，數(shù)據(jù)源種類多而復(fù)雜，面臨各種集成的問題與使用的問題。第二，大數(shù)據(jù)分析的過程離不開ETL（數(shù)據(jù)抽取、轉(zhuǎn)換、加載），這也是做分析的前提，因此對(duì)于數(shù)據(jù)源的存儲(chǔ)是不容忽視的。那么，基于上面的原因，我們是否可以很肯定地說，現(xiàn)實(shí)項(xiàng)目實(shí)施過程中，一個(gè)HBase是不能夠完成復(fù)雜的數(shù)據(jù)源項(xiàng)目背景的需求的呢？下面，我們來分析一下。

    由于HBase是一個(gè)半結(jié)構(gòu)化的數(shù)據(jù)倉庫，與傳統(tǒng)的RDB有很大區(qū)別，HBase更重要的是結(jié)構(gòu)，而不是類型。那么我們可以假設(shè)把數(shù)據(jù)分成3類：無結(jié)構(gòu)數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)。其實(shí)對(duì)于Java程序員出身的人來說，無結(jié)構(gòu)化數(shù)據(jù)是很難理解的，因?yàn)闆]有不能抽象化成對(duì)象的事物存在嘛，但是像Log日志文件這種數(shù)據(jù)源，它確實(shí)是種無結(jié)構(gòu)化數(shù)據(jù)（當(dāng)然這是以各種不同Log文件來說，這里不討論個(gè)人輸出的格式化數(shù)據(jù)）。對(duì)于半結(jié)構(gòu)化的數(shù)據(jù)，就像上面說的HBase一樣。HBase的鼻祖是Google公司的BigTable，據(jù)說Google公司的地圖等數(shù)據(jù)存儲(chǔ)都是用BigTable，并且性能非常卓越，具體是不是這樣就不清楚了。其實(shí)我在想，結(jié)構(gòu)化數(shù)據(jù)是可以轉(zhuǎn)化成半結(jié)構(gòu)化數(shù)據(jù)的，因?yàn)橹灰麄兌紦碛泄餐慕Y(jié)構(gòu)，是可以向上轉(zhuǎn)化，就像Java里面的任何類都是Object類的子類一樣，都可以轉(zhuǎn)化為Object類，我們把強(qiáng)類型的數(shù)據(jù)轉(zhuǎn)化成弱類型數(shù)據(jù)。

    再回到我們大數(shù)據(jù)項(xiàng)目來說，如果能夠把各式各樣的數(shù)據(jù)轉(zhuǎn)換成半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)到HBase中，那么我們對(duì)數(shù)據(jù)的集中讀取與管理是非常方便的，但是數(shù)據(jù)的轉(zhuǎn)換、讀取性能、數(shù)據(jù)靈活性就將成為重要的性能瓶頸。打個(gè)比方，對(duì)于實(shí)時(shí)監(jiān)控或者實(shí)時(shí)分析較強(qiáng)的行業(yè)，如果我們把傳送回來的數(shù)據(jù)經(jīng)過轉(zhuǎn)換再存儲(chǔ)，讀取時(shí)還需要做大量的數(shù)據(jù)類型轉(zhuǎn)換、異常、合法性判斷等，中間的時(shí)效性就會(huì)降低，那么數(shù)據(jù)的意義會(huì)大打折扣，因此，我們不能否認(rèn)了RDB的地位。

    總結(jié)上面的討論，可以得出這樣一個(gè)結(jié)論：大數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)大致地可以規(guī)劃成這3類：與Log日志文件相類似的無結(jié)構(gòu)數(shù)據(jù)源、與HBase半結(jié)構(gòu)化數(shù)據(jù)相類似的數(shù)據(jù)源、以RDB存儲(chǔ)的數(shù)據(jù)源。種3種數(shù)據(jù)源基本上可以包含了大部分大數(shù)據(jù)項(xiàng)目的需求，當(dāng)然實(shí)際上3種數(shù)據(jù)源的權(quán)重，就要根據(jù)實(shí)際項(xiàng)目的背景需求去衡量了！