Hadoop數(shù)據(jù)分析處理技術(shù)解析

數(shù)據(jù)的分析是大數(shù)據(jù)處理的核心。傳統(tǒng)數(shù)據(jù)分析主要是針對結(jié)構(gòu)化數(shù)據(jù)，其大致過程為：首先利用數(shù)據(jù)庫存儲結(jié)構(gòu)化數(shù)據(jù)，在此基礎上構(gòu)建數(shù)據(jù)倉庫，根據(jù)需要再構(gòu)建相應立方體并進行聯(lián)機分析處理。這一過程在處理相對較少的結(jié)構(gòu)化數(shù)據(jù)時非常高效。但對于大數(shù)據(jù)而言，分析技術(shù)面臨3 個直觀問題：大容量數(shù)據(jù)、多格式數(shù)據(jù)及分析速度，這使得標準存儲技術(shù)無法對大數(shù)據(jù)進行存儲，從而需要引進更加合理的分析平臺進行大數(shù)據(jù)分析。目前，開源的Hadoop 是廣泛應用的大數(shù)據(jù)處理技術(shù)，它也是分析處理大數(shù)據(jù)的核心技術(shù)。
　　Hadoop是一個基于Java的分布式密集數(shù)據(jù)處理和數(shù)據(jù)分析的軟件框架，用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序，充分利用集群的威力高速運算和存儲。其基本工作原理為：將規(guī)模巨大的數(shù)據(jù)分解成較小、易訪問的批量數(shù)據(jù)并分發(fā)到多臺服務器來分析。主要包括文件系統(tǒng)(HDFS)、數(shù)據(jù)處理(MapReduce)兩部分功能模塊，最底層是HDFS 用來存儲Hadoop 集群中所有存儲節(jié)點上的文件，HDFS 上一層是MapReduce 引擎，該引擎由Job Trackers 和Task Trackers 組成。其組成架構(gòu)如圖所示：

　　                                    圖 Hadoop組成架構(gòu)圖
　　鑒于商用的硬件集群上。所謂商用硬件并非低端硬件，其故障率比低端硬件要低很多。Hadoop 不需要運行在價格昂貴并且高度可靠的硬件上，即使對于節(jié)點故障的幾率較高的龐大集群，HDFS在遇到故障時仍能夠繼續(xù)運行且不讓用戶察覺到明顯的中斷，這種設計降低了對機器的維護成本，尤其是在用戶管理上百臺甚至上千臺機器時。
　　Hadoop 的設計是基于一次寫入、多次讀取的高效訪問模式。每次對數(shù)據(jù)的分析會涉及到數(shù)據(jù)所在的整個數(shù)據(jù)集，這種高數(shù)據(jù)的吞吐量會造成高的時間延遲，對于低延遲的數(shù)據(jù)訪問，HBase是更好的選擇。HDFS 采用master/slave 的構(gòu)架，即一個HDFS集群由一個NameNode(master)和多個DataNode(slave)組成。NameNode 是一個中心服務器，負責管理HDFS 的命名空間，并維護HDFS 的所有文件及目錄。這些信息以命名空間鏡像文件和編輯日志文件的形式永久地保存在本地磁盤上。它還記錄著每個文件中各個塊所在的DataNode 信息，但不永久保存塊的位置信息，因為DataNode 會在系統(tǒng)啟動時重新建立新的位置信息。同時，NameCode 還負責控制外部Client 的訪問。
　　DataNode 是HDFS 的工作節(jié)點，在集群中一般為一個機器節(jié)點一個，負責管理節(jié)點上附帶的存儲。它們根據(jù)客戶端需要或NameNode 調(diào)度存儲并檢索數(shù)據(jù)塊(Block)，執(zhí)行創(chuàng)建、刪除和復制數(shù)據(jù)塊的命令，并定期向NameNode 發(fā)送存儲數(shù)據(jù)塊列表的動態(tài)信息，NameNode 獲取每個DataNode 的動態(tài)信息并據(jù)此驗證塊映射和文件系統(tǒng)元數(shù)據(jù)。
　　3.2 MapReduce
　　MapReduce是用于處理大數(shù)據(jù)的軟件框架。其核心設計思想為：將問題分塊處理，把計算推到數(shù)據(jù)而非把數(shù)據(jù)推向計算。最簡單的MapReduce應用程序至少包含3 個部分：Map函數(shù)、Reduce 函數(shù)和main函數(shù)，其模型相對簡單，將用戶的原始數(shù)據(jù)進行分塊，然后交給不同的Map任務區(qū)執(zhí)行Map函數(shù)處理輸出中間結(jié)果，Reduce函數(shù)讀取數(shù)據(jù)列表并對數(shù)據(jù)進行排序并輸出最終結(jié)果。其流程如圖所示：
　　3.3 Hadoop 的優(yōu)勢及問題
　　Hadoop 是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架，同時是以一種可靠、高效、可伸縮的方式進行處理?？煽渴且驗樗僭O計算元素和存儲會失敗，因此它維護多個工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點重新分布處理;高效是因為它以并行的方式工作，通過并行處理加快處理速度;可伸縮是說它能夠處理PB 級數(shù)據(jù)。
　　但與其他新興科技一樣，Hadoop 同樣面臨一些需要解決的問題。(1)目前Hadoop 缺乏企業(yè)級的數(shù)據(jù)保護功能，開發(fā)人員必須手動設置HDFS 的數(shù)據(jù)復制參數(shù)， 而依賴開發(fā)人員來確定復制參數(shù)很可能會導致對存儲空間的浪費。(2)Hadoop 需要投資建設專用的計算集群，但這通常會產(chǎn)生獨立存儲、計算資源以及存儲或CPU 資源利用問題，且這種存儲在與其他程序的共享問題中也存在兼容性問題。