0基礎(chǔ)搭建Hadoop大數(shù)據(jù)處理-初識(shí)

在互聯(lián)網(wǎng)的世界中數(shù)據(jù)都是以TB、PB的數(shù)量級(jí)來(lái)增加的，特別是像BAT光每天的日志文件一個(gè)盤都不夠，更何況是還要基于這些數(shù)據(jù)進(jìn)行分析挖掘，更甚者還要實(shí)時(shí)進(jìn)行數(shù)據(jù)分析，學(xué)習(xí)，如雙十一淘寶的交易量的實(shí)時(shí)展示。

大數(shù)據(jù)什么叫大？4個(gè)特征：

體量化 Volume，就是量大。

多樣化 Variety，可能是結(jié)構(gòu)型的數(shù)據(jù)，也可能是非結(jié)構(gòu)行的文本，圖片，視頻，語(yǔ)音，日志，郵件等

快速化 Velocity，產(chǎn)生快，處理也需要快。

價(jià)值密度低 Value，數(shù)據(jù)量大，但單個(gè)數(shù)據(jù)沒(méi)什么意義，需要宏觀的統(tǒng)計(jì)體現(xiàn)其隱藏的價(jià)值。

可以看出想只要一臺(tái)強(qiáng)大的服務(wù)器來(lái)實(shí)時(shí)處理這種體量的數(shù)據(jù)那是不可能的，而且成本昂貴，代價(jià)相當(dāng)大，普通的關(guān)系型數(shù)據(jù)庫(kù)也隨著數(shù)據(jù)量的增大其處理時(shí)間也隨之增加，那客戶是不可能忍受的，所以我們需要Hadoop來(lái)解決此問(wèn)題。

優(yōu)點(diǎn)：

Hadoop是一個(gè)能夠讓用戶輕松架構(gòu)和使用的分布式計(jì)算平臺(tái)。用戶可以輕松地在Hadoop上開(kāi)發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。它主要有以下幾個(gè)優(yōu)點(diǎn)：
高可靠性。Hadoop按位存儲(chǔ)和處理數(shù)據(jù)的能力值得人們信賴。
高擴(kuò)展性。Hadoop是在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算任務(wù)的，這些集簇可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中。
高效性。Hadoop能夠在節(jié)點(diǎn)之間動(dòng)態(tài)地移動(dòng)數(shù)據(jù)，并保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡，因此處理速度非?？臁?br /> 高容錯(cuò)性。Hadoop能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本，并且能夠自動(dòng)將失敗的任務(wù)重新分配。
低成本。與一體機(jī)、商用數(shù)據(jù)倉(cāng)庫(kù)以及QlikView、Yonghong Z-Suite等數(shù)據(jù)集市相比，hadoop是開(kāi)源的，項(xiàng)目的軟件成本因此會(huì)大大降低。

Hadoop得以在大數(shù)據(jù)處理應(yīng)用中廣泛應(yīng)用得益于其自身在數(shù)據(jù)提取、變形和加載(ETL)方面上的天然優(yōu)勢(shì)。Hadoop的分布式架構(gòu)，將大數(shù)據(jù)處理引擎盡可能的靠近存儲(chǔ)，對(duì)例如像ETL這樣的批處理操作相對(duì)合適，因?yàn)轭愃七@樣操作的批處理結(jié)果可以直接走向存儲(chǔ)。Hadoop的MapReduce功能實(shí)現(xiàn)了將單個(gè)任務(wù)打碎，并將碎片任務(wù)(Map)發(fā)送到多個(gè)節(jié)點(diǎn)上，之后再以單個(gè)數(shù)據(jù)集的形式加載(Reduce)到數(shù)據(jù)倉(cāng)庫(kù)里。

Hadoop在各應(yīng)用中是最底層，最基礎(chǔ)的組件，所以其重要性不言而喻。

框架結(jié)構(gòu)

Hadoop主要由HDFS ( 分布式文件系統(tǒng))和MapReduce （并行計(jì)算框架）組成。

Hadoop 由許多元素構(gòu)成。其最底部是 Hadoop Distributed File System（HDFS），它存儲(chǔ) Hadoop 集群中所有存儲(chǔ)節(jié)點(diǎn)上的文件。HDFS（對(duì)于本文）的上一層是MapReduce 引擎，該引擎由 JobTrackers 和 TaskTrackers 組成。通過(guò)對(duì)Hadoop分布式計(jì)算平臺(tái)最核心的分布式文件系統(tǒng)HDFS、MapReduce處理過(guò)程，以及數(shù)據(jù)倉(cāng)庫(kù)工具Hive和分布式數(shù)據(jù)庫(kù)Hbase的介紹，基本涵蓋了Hadoop分布式平臺(tái)的所有技術(shù)核心。

HDFS

主從結(jié)構(gòu)

主節(jié)點(diǎn)，只有一個(gè): namenode
從節(jié)點(diǎn)，有很多個(gè): datanodes

namenode負(fù)責(zé)：接收用戶操作請(qǐng)求 、維護(hù)文件系統(tǒng)的目錄結(jié)構(gòu)、管理文件與block之間關(guān)系，block與datanode之間關(guān)系

NameNode 是一個(gè)通常在 HDFS 實(shí)例中的單獨(dú)機(jī)器上運(yùn)行的軟件。它負(fù)責(zé)管理文件系統(tǒng)名稱空間和控制外部客戶機(jī)的訪問(wèn)。

datanode負(fù)責(zé)：存儲(chǔ)文件文件被分成block存儲(chǔ)在磁盤上、為保證數(shù)據(jù)安全，文件會(huì)有多個(gè)副本

MapReduce 

主節(jié)點(diǎn)，只有一個(gè): JobTracker
從節(jié)點(diǎn)，有很多個(gè): TaskTrackers
JobTracker負(fù)責(zé)：接收客戶提交的計(jì)算任務(wù)、把計(jì)算任務(wù)分給TaskTrackers執(zhí)行、監(jiān)控TaskTracker的執(zhí)行情況
TaskTrackers負(fù)責(zé)：執(zhí)行JobTracker分配的計(jì)算任務(wù)

Hadoop能做什么？

大數(shù)據(jù)量存儲(chǔ)：分布式存儲(chǔ)

日志處理: Hadoop擅長(zhǎng)這個(gè)

海量計(jì)算: 并行計(jì)算

ETL:數(shù)據(jù)抽取到oracle、mysql、DB2、mongdb及主流數(shù)據(jù)庫(kù)

使用HBase做數(shù)據(jù)分析: 用擴(kuò)展性應(yīng)對(duì)大量的寫操作—Facebook構(gòu)建了基于HBase的實(shí)時(shí)數(shù)據(jù)分析系統(tǒng)

機(jī)器學(xué)習(xí): 比如Apache Mahout項(xiàng)目

搜索引擎:hadoop + lucene實(shí)現(xiàn)

數(shù)據(jù)挖掘：目前比較流行的廣告推薦

大量地從文件中順序讀。HDFS對(duì)順序讀進(jìn)行了優(yōu)化，代價(jià)是對(duì)于隨機(jī)的訪問(wèn)負(fù)載較高。

數(shù)據(jù)支持一次寫入，多次讀取。對(duì)于已經(jīng)形成的數(shù)據(jù)的更新不支持。

數(shù)據(jù)不進(jìn)行本地緩存（文件很大，且順序讀沒(méi)有局部性）

任何一臺(tái)服務(wù)器都有可能失效，需要通過(guò)大量的數(shù)據(jù)復(fù)制使得性能不會(huì)受到大的影響。

用戶細(xì)分特征建模

個(gè)性化廣告推薦

智能儀器推薦

擴(kuò)展

實(shí)際應(yīng)用：

Hadoop+HBase建立NoSQL分布式數(shù)據(jù)庫(kù)應(yīng)用

Flume+Hadoop+Hive建立離線日志分析系統(tǒng)

Flume+Logstash+Kafka+Spark Streaming進(jìn)行實(shí)時(shí)日志處理分析

酷狗音樂(lè)的大數(shù)據(jù)平臺(tái)

京東的智能供應(yīng)鏈預(yù)測(cè)系統(tǒng) 

Hadoop的學(xué)習(xí)不僅僅是學(xué)習(xí)Hadoop，還要學(xué)習(xí)Linux，網(wǎng)絡(luò)知識(shí)，Java、還有數(shù)據(jù)結(jié)構(gòu)和算法等等，所以萬(wàn)里長(zhǎng)征才開(kāi)始第一步，希望Hadoop學(xué)習(xí)不是從了解到放棄。