面試hadoop可能被問到的問題，附部分參考答案

盡信書不如無書，盡信答案不如無答案，下面只供參考：

一、hadoop運(yùn)行的原理?

hadoop主要由三方面組成:
1、HDFS
2、MapReduce
3、Hbase

Hadoop框架中最核心的設(shè)計(jì)就是：MapReduce和HDFS。MapReduce的思想是由Google的一篇論文所提及而被廣為流傳的， 簡單的一句話解釋MapReduce就是“任務(wù)的分解與結(jié)果的匯總”。HDFS是Hadoop分布式文件系統(tǒng)（Hadoop Distributed File System）的縮寫 ，為分布式計(jì)算存儲提供了底層支持。

MapReduce從它名字上來看就大致可以看出個緣由，兩個動詞Map和Reduce，“Map（展開）”就是將一個任務(wù)分解成為多個任 務(wù)，“Reduce”就是將分解后多任務(wù)處理的結(jié)果匯總起來，得出最后的分析結(jié)果。這不是什么新思想，其實(shí)在前面提到的多線程，多任務(wù)的設(shè)計(jì)就可以找到這種思想的影子。

不論是現(xiàn)實(shí)社會，還是在程序設(shè)計(jì)中，一項(xiàng)工作往往可以被拆分成為多個任務(wù)，任務(wù)之間的關(guān)系可以分為兩種：一種是不相關(guān)的任務(wù)，可以并行執(zhí) 行；另一種是任務(wù)之間有相互的依賴，先后順序不能夠顛倒，這類任務(wù)是無法并行處理的?；氐酱髮W(xué)時期，教授上課時讓大家去分析關(guān)鍵路徑，無非就是找最省時的 任務(wù)分解執(zhí)行方式。在分布式系統(tǒng)中，機(jī)器集群就可以看作硬件資源池，將并行的任務(wù)拆分，然后交由每一個空閑機(jī)器資源去處理，能夠極大地提高計(jì)算效率，同時 這種資源無關(guān)性，對于計(jì)算集群的擴(kuò)展無疑提供了最好的設(shè)計(jì)保證。（其實(shí)我一直認(rèn)為Hadoop的卡通圖標(biāo)不應(yīng)該是一個小象，應(yīng)該是螞蟻，分布式計(jì)算就好比 螞蟻吃大象，廉價(jià)的機(jī)器群可以匹敵任何高性能的計(jì)算機(jī)，縱向擴(kuò)展的曲線始終敵不過橫向擴(kuò)展的斜線）。任務(wù)分解處理以后，那就需要將處理以后的結(jié)果再匯總起 來，這就是Reduce要做的工作。

2、mapreduce的原理?

Hadoop中的MapReduce是一個使用簡易的軟件框架，基于它寫出來的應(yīng)用程序能夠運(yùn)行在由上千個商用機(jī)器組成的大型集群上，并以一種可靠容錯的式并 行處理上T級別的數(shù)據(jù)集。

一個MapReduce作業(yè)（job）通常會把輸入的數(shù)據(jù)集切分為若干獨(dú)立的數(shù)據(jù)塊，由map任務(wù)（task）以完全并行的方式處理它們。框架會對map的輸出先進(jìn)行排序，然后把結(jié)果輸入給reduce任務(wù)。通常作業(yè)的輸入和輸出都會被存儲在文件系統(tǒng)中。整個框架負(fù)責(zé)任務(wù)的調(diào)度和監(jiān)控，以及重新執(zhí)行已經(jīng)失敗的任務(wù)。

通常，MapReduce框架和分布式文件系統(tǒng)是運(yùn)行在一組相同的節(jié)點(diǎn)上的，也就是說，計(jì)算節(jié)點(diǎn)和存儲節(jié)點(diǎn)通常在一起。這種配置允許框架在那些已經(jīng)存好數(shù)據(jù)的節(jié)點(diǎn)上高效地調(diào)度任務(wù)，這可以使整個集群的網(wǎng)絡(luò)帶寬被非常高效地利用。

MapReduce框架由一個單獨(dú)的master JobTracker和每個集群節(jié)點(diǎn)一個slave TaskTracker共同組成。master負(fù)責(zé)調(diào)度構(gòu)成一個作業(yè)的所有任務(wù)，這些任務(wù)分布在不同的slave上，master監(jiān)控它們的執(zhí)行，重新執(zhí)行已經(jīng)失敗的任務(wù)。而slave僅負(fù)責(zé)執(zhí)行由master指派的任務(wù)

3、HDFS存儲的機(jī)制?

HDFS的三個實(shí)體

數(shù)據(jù)塊

每個磁盤都有默認(rèn)的數(shù)據(jù)塊大小,這是磁盤進(jìn)行讀寫的基本單位.構(gòu)建于單個磁盤之上的文件系統(tǒng)通過磁盤塊來管理該文件系統(tǒng)中的塊.該文件系統(tǒng)中的塊一般為磁盤塊的整數(shù)倍.磁盤塊一般為512字節(jié).HDFS也有塊的概念,默認(rèn)為64MB(一個map處理的數(shù)據(jù)大小).HDFS上的文件也被劃分為塊大小的多個分塊,與其他文件系統(tǒng)不同的是,HDFS中小于一個塊大小的文件不會占據(jù)整個塊的空間.

HDFS用塊存儲帶來的第一個明顯的好處一個文件的大小可以大于網(wǎng)絡(luò)中任意一個磁盤的容量,數(shù)據(jù)塊可以利用磁盤中任意一個磁盤進(jìn)行存儲.第二個簡化了系統(tǒng)的設(shè)計(jì),將控制單元設(shè)置為塊,可簡化存儲管理,計(jì)算單個磁盤能存儲多少塊就相對容易.同時也消除了對元數(shù)據(jù)的顧慮,如權(quán)限信息,可以由其他系統(tǒng)單獨(dú)管理.

DataNode節(jié)點(diǎn)

DataNode是HDFS文件系統(tǒng)的工作節(jié)點(diǎn),它們根據(jù)需要存儲并檢索數(shù)據(jù)塊,受NameNode節(jié)點(diǎn)調(diào)度.并且定期向NameNode發(fā)送它們所存儲的塊的列表

NameNode節(jié)點(diǎn)

NameNode管理HDFS文件系統(tǒng)的命名空間,它維護(hù)著文件系統(tǒng)樹及整棵樹的所有的文件及目錄.這些文件以兩個文件形式永久保存在本地磁盤上(命名空間鏡像文件和編輯日志文件).NameNode記錄著每個文件中各個塊所在的數(shù)據(jù)節(jié)點(diǎn)信息但并不永久保存這些塊的位置信息,因?yàn)檫@些信息在系統(tǒng)啟動時由數(shù)據(jù)節(jié)點(diǎn)重建.

沒有NameNode,文件系統(tǒng)將無法使用.如提供NameNode服務(wù)的機(jī)器損壞,文件系統(tǒng)上的所有文件丟失,我們就不能根據(jù)DataNode的塊來重建文件.因此,對NameNode的容錯非常重要.第一種機(jī)制,備份那些組成文件系統(tǒng)元數(shù)據(jù)持久狀態(tài)的文件.通過配置使NameNode在多個文件系統(tǒng)上保存元數(shù)據(jù)的持久狀態(tài)或?qū)?shù)據(jù)寫入本地磁盤的同時,寫入一個遠(yuǎn)程掛載的網(wǎng)絡(luò)文件系統(tǒng).當(dāng)然這些操作都是原子操作.第二種機(jī)制是運(yùn)行一個輔助的NameNode,它會保存合并后的命名空間鏡像的副本,并在Name/Node發(fā)生故障時啟用.但是輔助NameNode保存.態(tài)總是滯后于主力節(jié)點(diǎn),所以在主節(jié)點(diǎn)全部失效后難免丟失數(shù)據(jù).在這種情況下,一般把存儲在遠(yuǎn)程掛載的網(wǎng)絡(luò)文件系統(tǒng)的數(shù)據(jù)復(fù)制到輔助NameNode并作為新的主NameNode運(yùn)行

四、舉一個簡單的例子說明mapreduce是怎么來運(yùn)行的 ?

五、面試的人給你出一些問題,讓你用mapreduce來實(shí)現(xiàn)？

比如:現(xiàn)在有10個文件夾,每個文件夾都有1000000個url.現(xiàn)在讓你找出top1000000url。

六、hadoop中Combiner的作用?

1、combiner最基本是實(shí)現(xiàn)本地key的聚合，對map輸出的key排序，value進(jìn)行迭代。如下所示：

map: (K1, V1) → list(K2, V2)
combine: (K2, list(V2)) → list(K2, V2)
reduce: (K2, list(V2)) → list(K3, V3)

2、combiner還具有類似本地的reduce功能.

例如hadoop自帶的wordcount的例子和找出value的最大值的程序，combiner和reduce完全一致。如下所示：

map: (K1, V1) → list(K2, V2)
combine: (K2, list(V2)) → list(K3, V3)
reduce: (K3, list(V3)) → list(K4, V4)

3、如果不用combiner，那么，所有的結(jié)果都是reduce完成，效率會相對低下。使用combiner，先完成的map會在本地聚合，提升速度。

4、對于hadoop自帶的wordcount的例子，value就是一個疊加的數(shù)字，所以map一結(jié)束就可以進(jìn)行reduce的value疊加，而不必要等到所有的map結(jié)束再去進(jìn)行reduce的value疊加。

combiner使用的合適，可以在滿足業(yè)務(wù)的情況下提升job的速度，如果不合適，則將導(dǎo)致輸出的結(jié)果不正確。