大數(shù)據(jù)技術(shù)架構(gòu)解析

大數(shù)據(jù)數(shù)量龐大，格式多樣化。大量數(shù)據(jù)由家庭、制造工廠和辦公場(chǎng)所的各種設(shè)備、互聯(lián)網(wǎng)事務(wù)交易、社交網(wǎng)絡(luò)的活動(dòng)、自動(dòng)化傳感器、移動(dòng)設(shè)備以及科研儀器等生成。它的爆炸式增長(zhǎng)已超出了傳統(tǒng)IT基礎(chǔ)架構(gòu)的處理能力，給企業(yè)和社會(huì)帶來嚴(yán)峻的數(shù)據(jù)管理問題。因此必須開發(fā)新的數(shù)據(jù)架構(gòu)，圍繞“數(shù)據(jù)收集、數(shù)據(jù)管理、數(shù)據(jù)分析、知識(shí)形成、智慧行動(dòng)”的全過程，開發(fā)使用這些數(shù)據(jù)，釋放出更多數(shù)據(jù)的隱藏價(jià)值。

一、大數(shù)據(jù)建設(shè)思路

1)數(shù)據(jù)的獲得

大數(shù)據(jù)產(chǎn)生的根本原因在于感知式系統(tǒng)的廣泛使用。隨著技術(shù)的發(fā)展，人們已經(jīng)有能力制造極其微小的帶有處理功能的傳感器，并開始將這些設(shè)備廣泛的布置于社會(huì)的各個(gè)角落，通過這些設(shè)備來對(duì)整個(gè)社會(huì)的運(yùn)轉(zhuǎn)進(jìn)行監(jiān)控。這些設(shè)備會(huì)源源不斷的產(chǎn)生新數(shù)據(jù)，這種數(shù)據(jù)的產(chǎn)生方式是自動(dòng)的。因此在數(shù)據(jù)收集方面，要對(duì)來自網(wǎng)絡(luò)包括物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)和機(jī)構(gòu)信息系統(tǒng)的數(shù)據(jù)附上時(shí)空標(biāo)志，去偽存真，盡可能收集異源甚至是異構(gòu)的數(shù)據(jù)，必要時(shí)還可與歷史數(shù)據(jù)對(duì)照，多角度驗(yàn)證數(shù)據(jù)的全面性和可信性。

2)數(shù)據(jù)的匯集和存儲(chǔ)

數(shù)據(jù)只有不斷流動(dòng)和充分共享，才有生命力。應(yīng)在各專用數(shù)據(jù)庫建設(shè)的基礎(chǔ)上，通過數(shù)據(jù)集成，實(shí)現(xiàn)各級(jí)各類信息系統(tǒng)的數(shù)據(jù)交換和數(shù)據(jù)共享。 數(shù)據(jù)存儲(chǔ)要達(dá)到低成本、低能耗、高可靠性目標(biāo)，通常要用到冗余配置、分布化和云計(jì)算技術(shù)，在存儲(chǔ)時(shí)要按照一定規(guī)則對(duì)數(shù)據(jù)進(jìn)行分類，通過過濾和去重，減少存儲(chǔ)量，同時(shí)加入便于日后檢索的標(biāo)簽。

3)數(shù)據(jù)的管理

大數(shù)據(jù)管理的技術(shù)也層出不窮。在眾多技術(shù)中，有6種數(shù)據(jù)管理技術(shù)普遍被關(guān)注，即分布式存儲(chǔ)與計(jì)算、內(nèi)存數(shù)據(jù)庫技術(shù)、列式數(shù)據(jù)庫技術(shù)、云數(shù)據(jù)庫、非關(guān)系型的數(shù)據(jù)庫、移動(dòng)數(shù)據(jù)庫技術(shù)。其中分布式存儲(chǔ)與計(jì)算受關(guān)注度最高。上圖是一個(gè)圖書數(shù)據(jù)管理系統(tǒng)。

4)數(shù)據(jù)的分析

數(shù)據(jù)分析處理：有些行業(yè)的數(shù)據(jù)涉及上百個(gè)參數(shù)，其復(fù)雜性不僅體現(xiàn)在數(shù)據(jù)樣本本身，更體現(xiàn)在多源異構(gòu)、多實(shí)體和多空間之間的交互動(dòng)態(tài)性，難以用傳統(tǒng)的方法描述與度量，處理的復(fù)雜度很大，需要將高維圖像等多媒體數(shù)據(jù)降維后度量與處理，利用上下文關(guān)聯(lián)進(jìn)行語義分析，從大量動(dòng)態(tài)而且可能是模棱兩可的數(shù)據(jù)中綜合信息，并導(dǎo)出可理解的內(nèi)容。大數(shù)據(jù)的處理類型很多，主要的處理模式可以分為流處理和批處理兩種。批處理是先存儲(chǔ)后處理，而流處理則是直接處理數(shù)據(jù)。挖掘的任務(wù)主要是關(guān)聯(lián)分析、聚類分析、分類、預(yù)測(cè)、時(shí)序模式和偏差分析等。

5)大數(shù)據(jù)的價(jià)值：決策支持系統(tǒng)

大數(shù)據(jù)的神奇之處就是數(shù)據(jù)分析師通過對(duì)過去和現(xiàn)在的數(shù)據(jù)進(jìn)行分析，它能夠精確預(yù)測(cè)未來;通過對(duì)組織內(nèi)部的和外部的數(shù)據(jù)整合，它能夠洞察事物之間的相關(guān)關(guān)系;通過對(duì)海量數(shù)據(jù)的挖掘，它能夠代替人腦，承擔(dān)起企業(yè)和社會(huì)管理的職責(zé)。

6)數(shù)據(jù)的使用

大數(shù)據(jù)有三層內(nèi)涵：一是數(shù)據(jù)量巨大、來源多樣和類型多樣的數(shù)據(jù)集;二是新型的數(shù)據(jù)處理和分析技術(shù);三是運(yùn)用數(shù)據(jù)分析形成價(jià)值。大數(shù)據(jù)對(duì)科學(xué)研究、經(jīng)濟(jì)建設(shè)、社會(huì)發(fā)展和文化生活等各個(gè)領(lǐng)域正在產(chǎn)生革命性的影響。大數(shù)據(jù)應(yīng)用的關(guān)鍵，也是其必要條件，就在于"IT"與"經(jīng)營(yíng)"的融合，當(dāng)然，這里的經(jīng)營(yíng)的內(nèi)涵可以非常廣泛，小至一個(gè)零售門店的經(jīng)營(yíng)，大至一個(gè)城市的經(jīng)營(yíng)。

二、大數(shù)據(jù)基本架構(gòu)

基于上述大數(shù)據(jù)的特征，通過傳統(tǒng)IT技術(shù)存儲(chǔ)和處理大數(shù)據(jù)成本高昂。一個(gè)企業(yè)要大力發(fā)展大數(shù)據(jù)應(yīng)用首先需要解決兩個(gè)問題：一是低成本、快速地對(duì)海量、多類別的數(shù)據(jù)進(jìn)行抽取和存儲(chǔ);二是使用新的技術(shù)對(duì)數(shù)據(jù)進(jìn)行分析和挖掘，為企業(yè)創(chuàng)造價(jià)值。因此，大數(shù)據(jù)的存儲(chǔ)和處理與云計(jì)算技術(shù)密不可分，在當(dāng)前的技術(shù)條件下，基于廉價(jià)硬件的分布式系統(tǒng)(如Hadoop等)被認(rèn)為是最適合處理大數(shù)據(jù)的技術(shù)平臺(tái)。

Hadoop是一個(gè)分布式的基礎(chǔ)架構(gòu)，能夠讓用戶方便高效地利用運(yùn)算資源和處理海量數(shù)據(jù)，目前已在很多大型互聯(lián)網(wǎng)企業(yè)得到了廣泛應(yīng)用，如亞馬遜、Facebook和Yahoo等。其是一個(gè)開放式的架構(gòu)，架構(gòu)成員也在不斷擴(kuò)充完善中，通常架構(gòu)如圖2所示：

Hadoop體系架構(gòu)

(1)Hadoop最底層是一個(gè)HDFS(Hadoop Distributed File System，分布式文件系統(tǒng))，存儲(chǔ)在HDFS中的文件先被分成塊，然后再將這些塊復(fù)制到多個(gè)主機(jī)中(DataNode，數(shù)據(jù)節(jié)點(diǎn))。

(2)Hadoop的核心是MapReduce(映射和化簡(jiǎn)編程模型)引擎，Map意為將單個(gè)任務(wù)分解為多個(gè)，而Reduce則意為將分解后的多任務(wù)結(jié)果匯總，該引擎由JobTrackers(工作追蹤，對(duì)應(yīng)命名節(jié)點(diǎn))和TaskTrackers(任務(wù)追蹤，對(duì)應(yīng)數(shù)據(jù)節(jié)點(diǎn))組成。當(dāng)處理大數(shù)據(jù)查詢時(shí)，MapReduce會(huì)將任務(wù)分解在多個(gè)節(jié)點(diǎn)處理，從而提高了數(shù)據(jù)處理的效率，避免了單機(jī)性能瓶頸限制。

(3)Hive是Hadoop架構(gòu)中的數(shù)據(jù)倉庫，主要用于靜態(tài)的結(jié)構(gòu)以及需要經(jīng)常分析的工作。Hbase主要作為面向列的數(shù)據(jù)庫運(yùn)行在HDFS上，可存儲(chǔ)PB級(jí)的數(shù)據(jù)。Hbase利用MapReduce來處理內(nèi)部的海量數(shù)據(jù)，并能在海量數(shù)據(jù)中定位所需的數(shù)據(jù)且訪問它。

(4)Sqoop是為數(shù)據(jù)的互操作性而設(shè)計(jì)，可以從關(guān)系數(shù)據(jù)庫導(dǎo)入數(shù)據(jù)到Hadoop，并能直接導(dǎo)入到HDFS或Hive。

(5)Zookeeper在Hadoop架構(gòu)中負(fù)責(zé)應(yīng)用程序的協(xié)調(diào)工作，以保持Hadoop集群內(nèi)的同步工作。

(6)Thrift是一個(gè)軟件框架，用來進(jìn)行可擴(kuò)展且跨語言的服務(wù)的開發(fā)，最初由Facebook開發(fā)，是構(gòu)建在各種編程語言間無縫結(jié)合的、高效的服務(wù)。

Hadoop核心設(shè)計(jì)

Hbase——分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)

Client：使用HBase RPC機(jī)制與HMaster和HRegionServer進(jìn)行通信

Zookeeper：協(xié)同服務(wù)管理，HMaster通過Zookeepe可以隨時(shí)感知各個(gè)HRegionServer的健康狀況

HMaster: 管理用戶對(duì)表的增刪改查操作

HRegionServer：HBase中最核心的模塊，主要負(fù)責(zé)響應(yīng)用戶I/O請(qǐng)求，向HDFS文件系統(tǒng)中讀寫數(shù)據(jù)

HRegion:Hbase中分布式存儲(chǔ)的最小單元，可以理解成一個(gè)Table

HStore：HBase存儲(chǔ)的核心。由MemStore和StoreFile組成。

HLog：每次用戶操作寫入Memstore的同時(shí)，也會(huì)寫一份數(shù)據(jù)到HLog文件

結(jié)合上述Hadoop架構(gòu)功能，大數(shù)據(jù)平臺(tái)系統(tǒng)功能建議如圖所示：

應(yīng)用系統(tǒng)：對(duì)于大多數(shù)企業(yè)而言，運(yùn)營(yíng)領(lǐng)域的應(yīng)用是大數(shù)據(jù)最核心的應(yīng)用，之前企業(yè)主要使用來自生產(chǎn)經(jīng)營(yíng)中的各種報(bào)表數(shù)據(jù)，但隨著大數(shù)據(jù)時(shí)代的到來，來自于互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、數(shù)據(jù)分析各種傳感器的海量數(shù)據(jù)撲面而至。于是，一些企業(yè)開始挖掘和利用這些數(shù)據(jù)，來推動(dòng)運(yùn)營(yíng)效率的提升。

數(shù)據(jù)平臺(tái)：借助大數(shù)據(jù)平臺(tái)，未來的互聯(lián)網(wǎng)絡(luò)將可以讓商家更了解消費(fèi)者的使用習(xí)慣，從而改進(jìn)使用體驗(yàn)。基于大數(shù)據(jù)基礎(chǔ)上的相應(yīng)分析，能夠更有針對(duì)性的改進(jìn)用戶體驗(yàn)，同時(shí)挖掘新的商業(yè)機(jī)會(huì)。

數(shù)據(jù)源：數(shù)據(jù)源是指數(shù)據(jù)庫應(yīng)用程序所使用的數(shù)據(jù)庫或者數(shù)據(jù)庫服務(wù)器。豐富的數(shù)據(jù)源是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的前提。數(shù)據(jù)源在不斷拓展，越來越多樣化。如：智能汽車可以把動(dòng)態(tài)行駛過程變成數(shù)據(jù)，嵌入到生產(chǎn)設(shè)備里的物聯(lián)網(wǎng)可以把生產(chǎn)過程和設(shè)備動(dòng)態(tài)狀況變成數(shù)據(jù)。對(duì)數(shù)據(jù)源的不斷拓展不僅能帶來采集設(shè)備的發(fā)展，而且可以通過控制新的數(shù)據(jù)源更好地控制數(shù)據(jù)的價(jià)值。然而我國(guó)數(shù)字化的數(shù)據(jù)資源總量遠(yuǎn)遠(yuǎn)低于美歐，就已有有限的數(shù)據(jù)資源來說，還存在標(biāo)準(zhǔn)化、準(zhǔn)確性、完整性低，利用價(jià)值不高的情況，這大大降低了數(shù)據(jù)的價(jià)值。

三、大數(shù)據(jù)的目標(biāo)效果

通過大數(shù)據(jù)的引入和部署，可以達(dá)到如下效果：

1)數(shù)據(jù)整合

統(tǒng)一數(shù)據(jù)模型：承載企業(yè)數(shù)據(jù)模型，促進(jìn)企業(yè)各域數(shù)據(jù)邏輯模型的統(tǒng)一;

統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)：統(tǒng)一建立標(biāo)準(zhǔn)的數(shù)據(jù)編碼目錄，實(shí)現(xiàn)企業(yè)數(shù)據(jù)的標(biāo)準(zhǔn)化與統(tǒng)一存儲(chǔ);

統(tǒng)一數(shù)據(jù)視圖：實(shí)現(xiàn)統(tǒng)一數(shù)據(jù)視圖，使企業(yè)在客戶、產(chǎn)品和資源等視角獲取到一致的信息。

2)數(shù)據(jù)質(zhì)量管控

數(shù)據(jù)質(zhì)量校驗(yàn)：根據(jù)規(guī)則對(duì)所存儲(chǔ)的數(shù)據(jù)進(jìn)行一致性、完整性和準(zhǔn)確性的校驗(yàn)，保證數(shù)據(jù)的一致性、完整性和準(zhǔn)確性;

數(shù)據(jù)質(zhì)量管控：通過建立企業(yè)數(shù)據(jù)的質(zhì)量標(biāo)準(zhǔn)、數(shù)據(jù)管控的組織、數(shù)據(jù)管控的流程，對(duì)數(shù)據(jù)質(zhì)量進(jìn)行統(tǒng)一管控，以達(dá)到數(shù)據(jù)質(zhì)量逐步完善。

3)數(shù)據(jù)共享

消除網(wǎng)狀接口，建立大數(shù)據(jù)共享中心，為各業(yè)務(wù)系統(tǒng)提供共享數(shù)據(jù)，降低接口復(fù)雜度，提高系統(tǒng)間接口效率與質(zhì)量;

以實(shí)時(shí)或準(zhǔn)實(shí)時(shí)的方式將整合或計(jì)算好的數(shù)據(jù)向外系統(tǒng)提供。

4)數(shù)據(jù)應(yīng)用

查詢應(yīng)用：平臺(tái)實(shí)現(xiàn)條件不固定、不可預(yù)見、格式靈活的按需查詢功能;

固定報(bào)表應(yīng)用：視統(tǒng)計(jì)維度和指標(biāo)固定的分析結(jié)果的展示，可根據(jù)業(yè)務(wù)系統(tǒng)的需求，分析產(chǎn)生各種業(yè)務(wù)報(bào)表數(shù)據(jù)等;

動(dòng)態(tài)分析應(yīng)用：按關(guān)心的維度和指標(biāo)對(duì)數(shù)據(jù)進(jìn)行主題性的分析，動(dòng)態(tài)分析應(yīng)用中維度和指標(biāo)不固定。

四、總結(jié)

基于分布式技術(shù)構(gòu)建的大數(shù)據(jù)平臺(tái)能夠有效降低數(shù)據(jù)存儲(chǔ)成本，提升數(shù)據(jù)分析處理效率，并具備海量數(shù)據(jù)、高并發(fā)場(chǎng)景的支撐能力，可大幅縮短數(shù)據(jù)查詢響應(yīng)時(shí)間，滿足企業(yè)各上層應(yīng)用的數(shù)據(jù)需求。