文檔式數(shù)據(jù)庫(kù)在Hadoop集群中的應(yīng)用

作為國(guó)內(nèi)唯一專(zhuān)注于Hadoop技術(shù)與應(yīng)用分享的大規(guī)模行業(yè)盛會(huì)，2013 Hadoop中國(guó)技術(shù)峰會(huì)(China Hadoop Summit 2013)于北京福朋喜來(lái)登集團(tuán)酒店隆重舉行。來(lái)自國(guó)內(nèi)外各行業(yè)領(lǐng)域的近千名CIO、CTO、架構(gòu)師、IT經(jīng)理、咨詢(xún)顧問(wèn)、工程師、Hadoop技術(shù)愛(ài)好者，以及從事Hadoop研究與推廣的IT廠商和技術(shù)專(zhuān)家將共襄盛舉。

　　在SQL&NoSQL專(zhuān)場(chǎng)，來(lái)自巨彬軟件的CTO王濤做了《文檔式數(shù)據(jù)庫(kù)在Hadoop集群中的應(yīng)用》演講，從大數(shù)據(jù)的回顧、文檔式數(shù)據(jù)庫(kù)特性、數(shù)據(jù)庫(kù)在Hadoop中的定位以及用戶(hù)案例四個(gè)方面詳細(xì)介紹了NoSQL在大數(shù)據(jù)時(shí)代的作用。

　　王濤介紹到，談到大數(shù)據(jù)我們首先想到的就是3V(Volume、Variety、Velocity)，Volume代表海量數(shù)據(jù)規(guī)模，據(jù)統(tǒng)計(jì)已有50%以上的組織擁有和正在處理超過(guò)10TB的數(shù)據(jù)，其中超過(guò)10%的組織已經(jīng)超過(guò)1PB的數(shù)據(jù)，這也是大數(shù)據(jù)面臨的第一個(gè)挑戰(zhàn);Variety代表高時(shí)效性，有30%的組織每天需要處理超過(guò)100G的數(shù)據(jù)，如何從海量的數(shù)據(jù)中實(shí)時(shí)得到我們想要的數(shù)據(jù)這是大數(shù)據(jù)所面臨的第二個(gè)挑戰(zhàn);Velocity是多樣化，大數(shù)據(jù)里我們需要處理的數(shù)據(jù)更加多樣化，比如圖形、視頻、通話(huà)記錄而這些數(shù)據(jù)可能都需要被處理和分析，如何處理這些多樣化的數(shù)據(jù)是我們?cè)诖髷?shù)據(jù)里面臨的第三個(gè)挑戰(zhàn)。

　　想要真正的解決大數(shù)據(jù)問(wèn)題，可以用Hadoop+NoSQL組合來(lái)使用。如下圖，Hadoop很好的解決了海量數(shù)據(jù)與多樣化數(shù)據(jù)的問(wèn)題，NoSQL解決了海量與高時(shí)效性數(shù)據(jù)。王濤談到，Hadoop與NoSQL互為補(bǔ)充，而非取代。

　　                     ▲Hadoop與NoSQL—解決BigData的核武器

　　談到普通關(guān)系型數(shù)據(jù)庫(kù)在大數(shù)據(jù)環(huán)境下面臨的困境，王濤介紹到，一是數(shù)據(jù)模型僵化，無(wú)法處理海量的數(shù)據(jù)，造成了性能的上線;二是強(qiáng)一致性，關(guān)系型數(shù)據(jù)庫(kù)中日志、鎖構(gòu)成了性能瓶頸;而文檔式數(shù)據(jù)庫(kù)卻可以很好的解決這些問(wèn)題。王濤繼續(xù)談到，文檔式數(shù)據(jù)庫(kù)數(shù)據(jù)模型靈活，Schemaless帶來(lái)開(kāi)發(fā)的敏捷和可擴(kuò)展性的提升;最終一致性也帶來(lái)了性能大幅度的提升;同時(shí)，NoSQL也體現(xiàn)在低成本方面，可以使用PC服務(wù)器進(jìn)行水平擴(kuò)張。

　　接著，王濤介紹了文檔型數(shù)據(jù)庫(kù)的幾大特性，首先是在線擴(kuò)容，只要把新的節(jié)點(diǎn)增加到集群里，然后劃分?jǐn)?shù)據(jù)分區(qū)，系統(tǒng)就可以自動(dòng)的把數(shù)據(jù)從其他的機(jī)器搬到新的機(jī)器上。其次是異構(gòu)數(shù)據(jù)復(fù)制機(jī)制，可以保證數(shù)據(jù)的穩(wěn)定性、不丟失。三是多索引的支持，和很多KV或者寬表數(shù)據(jù)庫(kù)比起來(lái)，文檔型數(shù)據(jù)庫(kù)一般對(duì)一個(gè)集合能夠在不同字段上創(chuàng)建多個(gè)索引。

　　談及Hadoop與NoSQL的結(jié)合點(diǎn)，王濤談到了NoSQL數(shù)據(jù)庫(kù)在Hadoop中的定位(如下圖)，把NoSQL放到了hadoop的下面，與HDFS處于同一層，而做為一個(gè)數(shù)據(jù)源。這樣做的好處就是，我們每次訪問(wèn)數(shù)據(jù)的時(shí)候，從需要從上方導(dǎo)入HDFS再使用，而是可以直接的訪問(wèn)原生的數(shù)據(jù)庫(kù)接口訪問(wèn)到數(shù)據(jù)。

　　                      ▲NoSQL數(shù)據(jù)庫(kù)在Hadoop中的定位

　　                                 ▲從Hadoop導(dǎo)入數(shù)據(jù)

　　最后，王濤分享了Hadoop與NoSQL的成功應(yīng)用案例：

　　首先，客戶(hù)挑戰(zhàn)面臨每天需要入庫(kù)歸檔超過(guò)100G數(shù)據(jù)，需要能夠并發(fā)、實(shí)時(shí)、由多個(gè)維度訪問(wèn)超過(guò)2年的歷史數(shù)據(jù)，當(dāng)前的Oracle數(shù)據(jù)庫(kù)無(wú)法滿(mǎn)足實(shí)時(shí)查詢(xún)的需求。

　　解決方式：使用MapReduce與Hive作為ETL處理的補(bǔ)充進(jìn)行數(shù)據(jù)清洗和轉(zhuǎn)換，使用Hive將最終結(jié)果進(jìn)行加載入SequoiaDB，小規(guī)模x86集群平臺(tái)降低TCO，使用SequoiaDB，在常用查詢(xún)字段上建立多個(gè)索引保證查詢(xún)性能。

　　最終結(jié)果：可以在線針對(duì)2年的歷史數(shù)據(jù)進(jìn)行多條件檢索，高數(shù)據(jù)壓縮比節(jié)省數(shù)據(jù)存儲(chǔ)空間，利于細(xì)分客戶(hù)群，發(fā)現(xiàn)高價(jià)值用戶(hù)，降低客戶(hù)流失率，幫助自營(yíng)產(chǎn)品、套餐等設(shè)計(jì)與創(chuàng)新，提升客戶(hù)體驗(yàn)進(jìn)行策略管控。