面試hadoop可能被問(wèn)到的問(wèn)題，附部分參考答案

盡信書(shū)不如無(wú)書(shū)，盡信答案不如無(wú)答案，下面只供參考：

一、hadoop運(yùn)行的原理?

hadoop主要由三方面組成:
1、HDFS
2、MapReduce
3、Hbase

Hadoop框架中最核心的設(shè)計(jì)就是：MapReduce和HDFS。MapReduce的思想是由Google的一篇論文所提及而被廣為流傳的， 簡(jiǎn)單的一句話解釋MapReduce就是“任務(wù)的分解與結(jié)果的匯總”。HDFS是Hadoop分布式文件系統(tǒng)（Hadoop Distributed File System）的縮寫(xiě) ，為分布式計(jì)算存儲(chǔ)提供了底層支持。

MapReduce從它名字上來(lái)看就大致可以看出個(gè)緣由，兩個(gè)動(dòng)詞Map和Reduce，“Map（展開(kāi)）”就是將一個(gè)任務(wù)分解成為多個(gè)任 務(wù)，“Reduce”就是將分解后多任務(wù)處理的結(jié)果匯總起來(lái)，得出最后的分析結(jié)果。這不是什么新思想，其實(shí)在前面提到的多線程，多任務(wù)的設(shè)計(jì)就可以找到這種思想的影子。

不論是現(xiàn)實(shí)社會(huì)，還是在程序設(shè)計(jì)中，一項(xiàng)工作往往可以被拆分成為多個(gè)任務(wù)，任務(wù)之間的關(guān)系可以分為兩種：一種是不相關(guān)的任務(wù)，可以并行執(zhí) 行；另一種是任務(wù)之間有相互的依賴，先后順序不能夠顛倒，這類任務(wù)是無(wú)法并行處理的?；氐酱髮W(xué)時(shí)期，教授上課時(shí)讓大家去分析關(guān)鍵路徑，無(wú)非就是找最省時(shí)的 任務(wù)分解執(zhí)行方式。在分布式系統(tǒng)中，機(jī)器集群就可以看作硬件資源池，將并行的任務(wù)拆分，然后交由每一個(gè)空閑機(jī)器資源去處理，能夠極大地提高計(jì)算效率，同時(shí) 這種資源無(wú)關(guān)性，對(duì)于計(jì)算集群的擴(kuò)展無(wú)疑提供了最好的設(shè)計(jì)保證。（其實(shí)我一直認(rèn)為Hadoop的卡通圖標(biāo)不應(yīng)該是一個(gè)小象，應(yīng)該是螞蟻，分布式計(jì)算就好比 螞蟻吃大象，廉價(jià)的機(jī)器群可以匹敵任何高性能的計(jì)算機(jī)，縱向擴(kuò)展的曲線始終敵不過(guò)橫向擴(kuò)展的斜線）。任務(wù)分解處理以后，那就需要將處理以后的結(jié)果再匯總起 來(lái)，這就是Reduce要做的工作。

2、mapreduce的原理?

Hadoop中的MapReduce是一個(gè)使用簡(jiǎn)易的軟件框架，基于它寫(xiě)出來(lái)的應(yīng)用程序能夠運(yùn)行在由上千個(gè)商用機(jī)器組成的大型集群上，并以一種可靠容錯(cuò)的式并 行處理上T級(jí)別的數(shù)據(jù)集。

一個(gè)MapReduce作業(yè)（job）通常會(huì)把輸入的數(shù)據(jù)集切分為若干獨(dú)立的數(shù)據(jù)塊，由map任務(wù)（task）以完全并行的方式處理它們?？蚣軙?huì)對(duì)map的輸出先進(jìn)行排序，然后把結(jié)果輸入給reduce任務(wù)。通常作業(yè)的輸入和輸出都會(huì)被存儲(chǔ)在文件系統(tǒng)中。整個(gè)框架負(fù)責(zé)任務(wù)的調(diào)度和監(jiān)控，以及重新執(zhí)行已經(jīng)失敗的任務(wù)。

通常，MapReduce框架和分布式文件系統(tǒng)是運(yùn)行在一組相同的節(jié)點(diǎn)上的，也就是說(shuō)，計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)通常在一起。這種配置允許框架在那些已經(jīng)存好數(shù)據(jù)的節(jié)點(diǎn)上高效地調(diào)度任務(wù)，這可以使整個(gè)集群的網(wǎng)絡(luò)帶寬被非常高效地利用。

MapReduce框架由一個(gè)單獨(dú)的master JobTracker和每個(gè)集群節(jié)點(diǎn)一個(gè)slave TaskTracker共同組成。master負(fù)責(zé)調(diào)度構(gòu)成一個(gè)作業(yè)的所有任務(wù)，這些任務(wù)分布在不同的slave上，master監(jiān)控它們的執(zhí)行，重新執(zhí)行已經(jīng)失敗的任務(wù)。而slave僅負(fù)責(zé)執(zhí)行由master指派的任務(wù)

3、HDFS存儲(chǔ)的機(jī)制?

HDFS的三個(gè)實(shí)體

數(shù)據(jù)塊

每個(gè)磁盤都有默認(rèn)的數(shù)據(jù)塊大小,這是磁盤進(jìn)行讀寫(xiě)的基本單位.構(gòu)建于單個(gè)磁盤之上的文件系統(tǒng)通過(guò)磁盤塊來(lái)管理該文件系統(tǒng)中的塊.該文件系統(tǒng)中的塊一般為磁盤塊的整數(shù)倍.磁盤塊一般為512字節(jié).HDFS也有塊的概念,默認(rèn)為64MB(一個(gè)map處理的數(shù)據(jù)大小).HDFS上的文件也被劃分為塊大小的多個(gè)分塊,與其他文件系統(tǒng)不同的是,HDFS中小于一個(gè)塊大小的文件不會(huì)占據(jù)整個(gè)塊的空間.

HDFS用塊存儲(chǔ)帶來(lái)的第一個(gè)明顯的好處一個(gè)文件的大小可以大于網(wǎng)絡(luò)中任意一個(gè)磁盤的容量,數(shù)據(jù)塊可以利用磁盤中任意一個(gè)磁盤進(jìn)行存儲(chǔ).第二個(gè)簡(jiǎn)化了系統(tǒng)的設(shè)計(jì),將控制單元設(shè)置為塊,可簡(jiǎn)化存儲(chǔ)管理,計(jì)算單個(gè)磁盤能存儲(chǔ)多少塊就相對(duì)容易.同時(shí)也消除了對(duì)元數(shù)據(jù)的顧慮,如權(quán)限信息,可以由其他系統(tǒng)單獨(dú)管理.

DataNode節(jié)點(diǎn)

DataNode是HDFS文件系統(tǒng)的工作節(jié)點(diǎn),它們根據(jù)需要存儲(chǔ)并檢索數(shù)據(jù)塊,受NameNode節(jié)點(diǎn)調(diào)度.并且定期向NameNode發(fā)送它們所存儲(chǔ)的塊的列表

NameNode節(jié)點(diǎn)

NameNode管理HDFS文件系統(tǒng)的命名空間,它維護(hù)著文件系統(tǒng)樹(shù)及整棵樹(shù)的所有的文件及目錄.這些文件以兩個(gè)文件形式永久保存在本地磁盤上(命名空間鏡像文件和編輯日志文件).NameNode記錄著每個(gè)文件中各個(gè)塊所在的數(shù)據(jù)節(jié)點(diǎn)信息但并不永久保存這些塊的位置信息,因?yàn)檫@些信息在系統(tǒng)啟動(dòng)時(shí)由數(shù)據(jù)節(jié)點(diǎn)重建.

沒(méi)有NameNode,文件系統(tǒng)將無(wú)法使用.如提供NameNode服務(wù)的機(jī)器損壞,文件系統(tǒng)上的所有文件丟失,我們就不能根據(jù)DataNode的塊來(lái)重建文件.因此,對(duì)NameNode的容錯(cuò)非常重要.第一種機(jī)制,備份那些組成文件系統(tǒng)元數(shù)據(jù)持久狀態(tài)的文件.通過(guò)配置使NameNode在多個(gè)文件系統(tǒng)上保存元數(shù)據(jù)的持久狀態(tài)或?qū)?shù)據(jù)寫(xiě)入本地磁盤的同時(shí),寫(xiě)入一個(gè)遠(yuǎn)程掛載的網(wǎng)絡(luò)文件系統(tǒng).當(dāng)然這些操作都是原子操作.第二種機(jī)制是運(yùn)行一個(gè)輔助的NameNode,它會(huì)保存合并后的命名空間鏡像的副本,并在Name/Node發(fā)生故障時(shí)啟用.但是輔助NameNode保存.態(tài)總是滯后于主力節(jié)點(diǎn),所以在主節(jié)點(diǎn)全部失效后難免丟失數(shù)據(jù).在這種情況下,一般把存儲(chǔ)在遠(yuǎn)程掛載的網(wǎng)絡(luò)文件系統(tǒng)的數(shù)據(jù)復(fù)制到輔助NameNode并作為新的主NameNode運(yùn)行

四、舉一個(gè)簡(jiǎn)單的例子說(shuō)明mapreduce是怎么來(lái)運(yùn)行的 ?

五、面試的人給你出一些問(wèn)題,讓你用mapreduce來(lái)實(shí)現(xiàn)？

比如:現(xiàn)在有10個(gè)文件夾,每個(gè)文件夾都有1000000個(gè)url.現(xiàn)在讓你找出top1000000url。

六、hadoop中Combiner的作用?

1、combiner最基本是實(shí)現(xiàn)本地key的聚合，對(duì)map輸出的key排序，value進(jìn)行迭代。如下所示：

map: (K1, V1) → list(K2, V2)
combine: (K2, list(V2)) → list(K2, V2)
reduce: (K2, list(V2)) → list(K3, V3)

2、combiner還具有類似本地的reduce功能.

例如hadoop自帶的wordcount的例子和找出value的最大值的程序，combiner和reduce完全一致。如下所示：

map: (K1, V1) → list(K2, V2)
combine: (K2, list(V2)) → list(K3, V3)
reduce: (K3, list(V3)) → list(K4, V4)

3、如果不用combiner，那么，所有的結(jié)果都是reduce完成，效率會(huì)相對(duì)低下。使用combiner，先完成的map會(huì)在本地聚合，提升速度。

4、對(duì)于hadoop自帶的wordcount的例子，value就是一個(gè)疊加的數(shù)字，所以map一結(jié)束就可以進(jìn)行reduce的value疊加，而不必要等到所有的map結(jié)束再去進(jìn)行reduce的value疊加。

combiner使用的合適，可以在滿足業(yè)務(wù)的情況下提升job的速度，如果不合適，則將導(dǎo)致輸出的結(jié)果不正確。