Mapreduce是種編程模型，結(jié)合了概念"Map（映射）"和"Reduce（歸約）"，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。它極大地方便了編程人員在不會分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)上。

MapReduce實(shí)現(xiàn)了以下4大主要功能：

1）數(shù)據(jù)劃分和計(jì)算任務(wù)調(diào)度

系統(tǒng)自動將一個(gè)作業(yè)（Job）待處理的大數(shù)據(jù)劃分為很多個(gè)數(shù)據(jù)塊，每個(gè)數(shù)據(jù)塊對應(yīng)于一個(gè)計(jì)算任務(wù)（Task），并自動調(diào)度計(jì)算節(jié)點(diǎn)來處理相應(yīng)的數(shù)據(jù)塊。作業(yè)和任務(wù)調(diào)度功能主要負(fù)責(zé)分配和調(diào)度計(jì)算節(jié)點(diǎn)（Map節(jié)點(diǎn)或Reduce節(jié)點(diǎn)），同時(shí)負(fù)責(zé)監(jiān)控這些節(jié)點(diǎn)的執(zhí)行狀態(tài)，并負(fù)責(zé)Map節(jié)點(diǎn)執(zhí)行的同步控制。

2）數(shù)據(jù)/代碼互定位

為了減少數(shù)據(jù)通信，一個(gè)基本原則是本地化數(shù)據(jù)處理，即一個(gè)計(jì)算節(jié)點(diǎn)盡可能處理其本地磁盤上所分布存儲的數(shù)據(jù)，這實(shí)現(xiàn)了代碼向 數(shù)據(jù)的遷移；當(dāng)無法進(jìn)行這種本地化數(shù)據(jù)處理時(shí)，再尋找其他可用節(jié)點(diǎn)并將數(shù)據(jù)從網(wǎng)絡(luò)上傳送給該節(jié)點(diǎn)（數(shù)據(jù)向代碼遷移），但將盡可能從數(shù)據(jù)所在的本地機(jī)架上尋 找可用節(jié)點(diǎn)以減少通信延遲。

3）系統(tǒng)優(yōu)化

為了減少數(shù)據(jù)通信開銷，中間結(jié)果數(shù)據(jù)進(jìn)入Reduce節(jié)點(diǎn)前會進(jìn)行一定的合并處理；一個(gè)Reduce節(jié)點(diǎn)所處理的數(shù)據(jù)可能會來自多個(gè) Map節(jié)點(diǎn)，為了避免Reduce計(jì)算階段發(fā)生數(shù)據(jù)相關(guān)性，Map節(jié)點(diǎn)輸出的中間結(jié)果需使用一定的策略進(jìn)行適當(dāng)?shù)膭澐痔幚?，保證相關(guān)性數(shù)據(jù)發(fā)送到同一個(gè) Reduce節(jié)點(diǎn)；此外，系統(tǒng)還進(jìn)行一些計(jì)算性能優(yōu)化處理，如對最慢的計(jì)算任務(wù)采用多備份執(zhí)行、選最快完成者作為結(jié)果。

4）出錯(cuò)檢測和恢復(fù)

以低端商用服務(wù)器構(gòu)成的大規(guī)模Mapreduce計(jì)算集群中，節(jié)點(diǎn)硬件（主機(jī)、磁盤、內(nèi)存等）出錯(cuò)和軟件出錯(cuò)是常態(tài)，因此 MapReduce需要能檢測并隔離出錯(cuò)節(jié)點(diǎn)，并調(diào)度分配新的節(jié)點(diǎn)接管出錯(cuò)節(jié)點(diǎn)的計(jì)算任務(wù)。同時(shí)，系統(tǒng)還將維護(hù)數(shù)據(jù)存儲的可靠性，用多備份冗余存儲機(jī)制提 高數(shù)據(jù)存儲的可靠性，并能及時(shí)檢測和恢復(fù)出錯(cuò)的數(shù)據(jù)。

MapReduce的簡單執(zhí)行流程為：

1、hdfs數(shù)據(jù)的讀取；

2、splite 分片；

3、map階段（key，value）；

4、shuffle；

5、reduce階段（數(shù)據(jù)歸約）；

6、存儲到hdfs

這里特別介紹下Mapreduce執(zhí)行流程中的第五步，Reduce階段，其處理過程如下：

1、獲取map階段的輸出結(jié)果；

2、合并和排序；

3、reduce方法歸約處理；

4、保存到hdfs。