大數(shù)據(jù)和Hadoop生態(tài)圈，Hadoop發(fā)行版和基于Hadoop的企業(yè)級(jí)應(yīng)用

你可能聽別人說過，我們生活在“大數(shù)據(jù)”的環(huán)境中。技術(shù)驅(qū)動(dòng)著當(dāng)今世界的發(fā)展，計(jì)算能力飛速增長，電子設(shè)備越來越普遍，因特網(wǎng)越來越容易接入，與此同時(shí)，比以往任何時(shí)候都多的數(shù)據(jù)正在被傳輸和收集。

企業(yè)正在以驚人的速度產(chǎn)生數(shù)據(jù)。僅Facebook每天就會(huì)收集 250 TB 的數(shù)據(jù)。Thompson Reuters News Analytics （湯普森路透社新聞分析）顯示，現(xiàn)在數(shù)字?jǐn)?shù)據(jù)的總量比2009年的1ZB（1ZB等同于一百萬 PB）多了兩倍多，到 2015 年有可能將達(dá)到7.9ZB，到 2020 年則有可能會(huì)達(dá)到35ZB。其他調(diào)查機(jī)構(gòu)甚至做出了更高的預(yù)測(cè)。

隨著企業(yè)產(chǎn)生并收集的數(shù)據(jù)量增多，他們開始認(rèn)識(shí)到數(shù)據(jù)分析的重要性。但是，他們必須先有效地管理好自己擁有的大量信息。這會(huì)產(chǎn)生新的挑戰(zhàn)：怎樣才能存儲(chǔ)大量的數(shù)據(jù)？怎樣處理它們？怎樣高效地分析它們？既然數(shù)據(jù)會(huì)增加，又如何構(gòu)建一個(gè)可擴(kuò)展的解決方案？

不僅研究人員和數(shù)據(jù)科學(xué)家要面對(duì)大數(shù)據(jù)的挑戰(zhàn)。幾年前，在Google+ 大會(huì)上，計(jì)算機(jī)書籍出版者Tim O’Reilly引用過Alistair Croll的話，“這些產(chǎn)生了大量的無明顯規(guī)律數(shù)據(jù)的公司，正在被那些產(chǎn)生了相對(duì)較少的有規(guī)律數(shù)據(jù)的新創(chuàng)公司取代……”。簡(jiǎn)而言之，Croll想要說，除非你的企業(yè)“理解”你擁有的數(shù)據(jù)，否則你的企業(yè)無法與那些“理解”自身數(shù)據(jù)的公司抗衡。

企業(yè)已經(jīng)意識(shí)到：大數(shù)據(jù)與商業(yè)競(jìng)爭(zhēng)、態(tài)勢(shì)感知、生產(chǎn)力、科學(xué)和創(chuàng)新等密切相關(guān)，分析這些大數(shù)據(jù)能夠獲得巨大的效益。因?yàn)樯虡I(yè)競(jìng)爭(zhēng)正在驅(qū)動(dòng)大數(shù)據(jù)分析，所以大多數(shù)企業(yè)認(rèn)同O’Reilly和Croll的觀點(diǎn)。他們認(rèn)為當(dāng)今企業(yè)的生存依賴于存儲(chǔ)、處理和分析大量信息的能力，依賴于是否掌控了接受大數(shù)據(jù)挑戰(zhàn)的能力。

如果你閱讀這本書，你將會(huì)熟悉這些挑戰(zhàn)，熟悉Apache的Hadoop，并且知道Hadoop可以解決哪些問題。本章主要介紹大數(shù)據(jù)的前景和挑戰(zhàn)，并且概述Hadoop及其組件生態(tài)圈?？梢岳眠@些組件構(gòu)建可擴(kuò)展、分布式的數(shù)據(jù)分析解決方案。

1.1 當(dāng)大數(shù)據(jù)遇到Hadoop

由于“人力資本”是一個(gè)無形的、對(duì)成功至關(guān)重要的因素，所以多數(shù)企業(yè)都認(rèn)為他們的員工才是他們最有價(jià)值的財(cái)產(chǎn)。其實(shí)還有另外一個(gè)關(guān)鍵因素——企業(yè)所擁有的“信息”。信息可信度、信息量和信息可訪問性可以增強(qiáng)企業(yè)信息能力，從而使企業(yè)做出更好的決策。

要理解企業(yè)產(chǎn)生的大量的數(shù)字信息是非常困難的。IBM指出在過去僅僅兩年的時(shí)間里產(chǎn)生了世界90%的數(shù)據(jù)。企業(yè)正在收集、處理和存儲(chǔ)這些可能成為戰(zhàn)略資源的數(shù)據(jù)。十年前，Michael Daconta, Leo Obrst, and Kevin T.Smith (Indianapolis: Wiley, 2004)寫的一本書《The Semantic Web: A Guide to the Future of XML, Web Services, and Knowledge Management》中有句格言“只有擁有最好的信息，知道怎樣發(fā)現(xiàn)信息，并能夠最快利用信息的企業(yè)才能立于不敗之地”。

知識(shí)就是力量。問題是，隨著收集的數(shù)據(jù)越來越多，傳統(tǒng)的數(shù)據(jù)庫工具將不能管理，并且快速處理這些數(shù)據(jù)。這將導(dǎo)致企業(yè)“淹沒”在自己的數(shù)據(jù)中：不能有效利用數(shù)據(jù)，不能理解數(shù)據(jù)之間的聯(lián)系，不能理解數(shù)據(jù)潛在的巨大力量。

人們用“大數(shù)據(jù)”來描述過于龐大的數(shù)據(jù)集，這些數(shù)據(jù)集一般無法使用傳統(tǒng)的用于存儲(chǔ)、管理、搜索和分析等過程的工具來處理。大數(shù)據(jù)有眾多來源，可以是結(jié)構(gòu)型的，也可以是非結(jié)構(gòu)型的；通過處理和分析大數(shù)據(jù)，可以發(fā)現(xiàn)內(nèi)部規(guī)律和模式，從而做出明智選擇。

什么是大數(shù)據(jù)的挑戰(zhàn)？怎么存儲(chǔ)、處理和分析如此大的數(shù)據(jù)量，從而從海量數(shù)據(jù)中獲取有用信息？

分析大數(shù)據(jù)，需要大量的存儲(chǔ)空間和超級(jí)計(jì)算處理能力。在過去的十年中，研究人員嘗試了各種的方法來解決數(shù)字信息增加帶來的問題。首先，把重點(diǎn)放在了給單個(gè)計(jì)算機(jī)更多的存儲(chǔ)、處理能力和內(nèi)存等上面，卻發(fā)現(xiàn)單臺(tái)計(jì)算機(jī)的分析能力并不能解決問題。隨著時(shí)間的推移，許多組織實(shí)現(xiàn)了分布式系統(tǒng)（通過多臺(tái)計(jì)算機(jī)分布任務(wù)），但是分布式系統(tǒng)的數(shù)據(jù)分析解決方案往往很復(fù)雜，并且容易出錯(cuò)，甚至速度不夠快。

在2002年，Doug Cutting和Mike Cafarella開發(fā)一個(gè)名為Nutch的項(xiàng)目（專注于解決網(wǎng)絡(luò)爬蟲、建立索引和搜索網(wǎng)頁的搜索引擎項(xiàng)目），用于處理大量信息。在為Nutch項(xiàng)目解決存儲(chǔ)和處理問題的過程中，他們意識(shí)到，需要一個(gè)可靠的、分布式計(jì)算方法，為Nutch收集大量網(wǎng)頁數(shù)據(jù)。

一年后，谷歌發(fā)表了關(guān)于谷歌文件系統(tǒng)（GFS）和MapReduce的論文，MapReduce是一個(gè)用來處理大型數(shù)據(jù)集的算法和分布式編程平臺(tái)。當(dāng)意識(shí)到集群的分布式處理和分布式存儲(chǔ)的前景后，Cutting和Cafarella把這些論文作為基礎(chǔ)，為Nutch構(gòu)建分布式平臺(tái)，開發(fā)了我們所熟知的Hadoop分布式文件系統(tǒng)（HDFS）和MapReduce。

在2006年，Yahoo在為搜索引擎建立大量信息的索引的過程中，經(jīng)歷了“大數(shù)據(jù)”挑戰(zhàn)的掙扎之后，看到了Nutch項(xiàng)目的前景，聘請(qǐng)了Doug Cutting，并迅速?zèng)Q定采用Hadoop作為其分布式架構(gòu)，用來解決搜索引擎方面的問題。雅虎剝離出來Nutch項(xiàng)目的存儲(chǔ)和處理部分，形成Apache基金的一個(gè)開源項(xiàng)目Hadoop，與此同時(shí)Nutch的網(wǎng)絡(luò)爬蟲項(xiàng)目保持自己獨(dú)立性。此后不久，雅虎開始使用Hadoop分析各種產(chǎn)品應(yīng)用。該平臺(tái)非常有效，以至于雅虎把搜索業(yè)務(wù)和廣告業(yè)務(wù)合并成一個(gè)單元，從而更好地利用Hadoop技術(shù)。

在過去的10年中，Hadoop已經(jīng)從搜索引擎相關(guān)的平臺(tái)，演變?yōu)樽盍餍型ㄓ玫挠?jì)算平臺(tái)，用于解決大數(shù)據(jù)帶來的挑戰(zhàn)。它正在快速成為下一代基于數(shù)據(jù)的應(yīng)用程序的基礎(chǔ)。市場(chǎng)研究公司IDC預(yù)計(jì)，到2016年，Hadoop驅(qū)動(dòng)的大數(shù)據(jù)市場(chǎng)將超過23億美元。自從2008年建立第一家以Hadoop為中心的公司Cloudera之后，幾十家基于Hadoop的創(chuàng)業(yè)公司吸引了數(shù)億美元的風(fēng)險(xiǎn)投資。簡(jiǎn)而言之，Hadoop為企業(yè)提供了一個(gè)行之有效的方法，來進(jìn)行大數(shù)據(jù)分析。

1.1.1 Hadoop：迎接大數(shù)據(jù)挑戰(zhàn)

Apache的Hadoop通過簡(jiǎn)化數(shù)據(jù)密集型、高度并行的分布式應(yīng)用的實(shí)現(xiàn)，以此迎接大數(shù)據(jù)的挑戰(zhàn)。世界各地的企業(yè)、大學(xué)和其它組織都在使用Hadoop，Hadoop把任務(wù)分成任務(wù)片，分布在數(shù)千臺(tái)計(jì)算機(jī)上，從而進(jìn)行快速分析，并分布式存儲(chǔ)大量的數(shù)據(jù)。Hadoop利用大量廉價(jià)的計(jì)算機(jī)，提供了一個(gè)可擴(kuò)展強(qiáng)，可靠性高的機(jī)制；并利用廉價(jià)的方式來存儲(chǔ)大量數(shù)據(jù)。Hadoop還提供了新的和改進(jìn)的分析技術(shù)，從而使大量結(jié)構(gòu)化數(shù)據(jù)的復(fù)雜分析變?yōu)榭赡堋?/span>

Hadoop與以前的分布式方法的區(qū)別：

• 數(shù)據(jù)先進(jìn)行分布式存儲(chǔ)。
• 在集群上備份多份數(shù)據(jù)，從而來提高可靠性和實(shí)用性。數(shù)據(jù)在哪存儲(chǔ)就在哪處理，從而消除了帶寬瓶頸問題。

此外，Hadoop隱藏了復(fù)雜的分布式實(shí)現(xiàn)過程，提供了一種簡(jiǎn)單的編程方法。從而，Hadoop得以提供強(qiáng)大的數(shù)據(jù)分析機(jī)制，包括以下內(nèi)容：

1. 存儲(chǔ)量大——Hadoop能夠使應(yīng)用程序運(yùn)行在成千上萬的計(jì)算機(jī)和PB級(jí)數(shù)據(jù)上。在過去的十年中，計(jì)算機(jī)專家認(rèn)識(shí)到，那些曾經(jīng)只能由超級(jí)計(jì)算機(jī)來處理的高性能應(yīng)用，可以由大量廉價(jià)的計(jì)算機(jī)一起處理。在集群中，數(shù)百臺(tái)“小”的電腦的聚合計(jì)算能力，可以超過一臺(tái)超級(jí)計(jì)算機(jī)的計(jì)算能力，并且價(jià)格便宜。Hadoop利用超過數(shù)千臺(tái)機(jī)器的集群，在企業(yè)可以承受的價(jià)格范圍內(nèi)，提供了巨大的存儲(chǔ)空間和處理能力。
2. 分布式處理與快速的數(shù)據(jù)訪問——Hadoop集群在提供高效數(shù)據(jù)存儲(chǔ)能力的同時(shí)，也提供了快速的數(shù)據(jù)訪問能力。在Hadoop出現(xiàn)之前，應(yīng)用程序很難并行運(yùn)行在計(jì)算機(jī)集群之間。這是因?yàn)榧耗Ｐ驮趧?chuàng)建共享存儲(chǔ)數(shù)據(jù)時(shí)，對(duì)I/O性能要求很高。用Hadoop來處理數(shù)據(jù)，減輕了許多高性能的挑戰(zhàn)。此外，Hadoop應(yīng)用程序處理數(shù)據(jù)通常都是有序進(jìn)行的，這就避免了隨機(jī)的數(shù)據(jù)訪問（磁盤尋道操作），進(jìn)一步減輕了I/O負(fù)載。
3. 可靠性，故障轉(zhuǎn)移和可擴(kuò)展性——在過去，并行應(yīng)用程序很難解決集群上機(jī)器的可靠性問題。雖然單臺(tái)機(jī)器的可靠性相當(dāng)高，但是隨著群集增加，出故障的概率也隨之增加。在數(shù)千個(gè)節(jié)點(diǎn)的集群上，這種日常故障經(jīng)常發(fā)生。由于Hadoop有獨(dú)特的設(shè)計(jì)和實(shí)施方式，相同的故障將會(huì)產(chǎn)生相似的結(jié)果。從而，Hadoop可以監(jiān)測(cè)到這些故障，并利用不同的節(jié)點(diǎn)重新執(zhí)行任務(wù)。此外，Hadoop有很好的可擴(kuò)展性，實(shí)現(xiàn)無縫地將多個(gè)服務(wù)器整合到一個(gè)集群，并利用它們來存儲(chǔ)數(shù)據(jù)、執(zhí)行程序。

對(duì)于大多數(shù)Hadoop用戶而言，Hadoop最重要的特征是，將業(yè)務(wù)規(guī)劃和基礎(chǔ)設(shè)施維護(hù)進(jìn)行了清晰的劃分。為那些專注于商業(yè)業(yè)務(wù)的用戶，隱藏了Hadoop的基礎(chǔ)設(shè)施的復(fù)雜性，并提供了一個(gè)易于使用的平臺(tái)，從而使復(fù)雜的分布式計(jì)算的問題簡(jiǎn)單化。

1.1.2 商業(yè)界的數(shù)據(jù)科學(xué)

Hadoop的存儲(chǔ)和處理大數(shù)據(jù)的能力經(jīng)常與“數(shù)據(jù)科學(xué)”掛鉤。雖然該詞是由彼得·諾爾在20世紀(jì)60年代提出的，但是直到最近才引起人們廣泛關(guān)注。美國雪域大學(xué)杰弗里·斯坦頓德教授把“數(shù)據(jù)科學(xué)”定義為“一個(gè)專注于搜集、分析、可視化、管理和大量信息保存的新興領(lǐng)域”。

通常將“數(shù)據(jù)科學(xué)”這一術(shù)語用在商業(yè)業(yè)務(wù)分析中，與實(shí)際中的“大數(shù)據(jù)”學(xué)科有很大的不同。在數(shù)據(jù)科學(xué)中，業(yè)務(wù)分析師通過研究現(xiàn)有商業(yè)運(yùn)作模式，來提升業(yè)務(wù)。

數(shù)據(jù)科學(xué)的目標(biāo)是從數(shù)據(jù)提取出數(shù)據(jù)的真正含義。數(shù)據(jù)科學(xué)家基于數(shù)學(xué)、統(tǒng)計(jì)分析、模式識(shí)別、機(jī)器學(xué)習(xí)、高性能計(jì)算和數(shù)據(jù)倉庫等來工作，通過分析數(shù)據(jù)來發(fā)現(xiàn)事物發(fā)展趨勢(shì)，并基于收集到的信息開發(fā)新業(yè)務(wù)。

在過去的幾年中，許多數(shù)據(jù)庫和編程方面的業(yè)務(wù)分析師成為了數(shù)據(jù)科學(xué)家。他們?cè)?a href='/map/hadoop/' style='color:#000;font-size:inherit;'>Hadoop生態(tài)圈中，使用高級(jí)的SQL工具（比如：Hive或者實(shí)時(shí)Hadoop查詢工具）進(jìn)行數(shù)據(jù)分析，以做出明智的業(yè)務(wù)決策。

不只是“一個(gè)大數(shù)據(jù)庫”

在本書后面會(huì)深入講解Hadoop，但在此之前，讓我們先消除這樣的誤區(qū)——Hadoop僅僅是數(shù)據(jù)分析師使用的工具。因?yàn)閷?duì)于那些熟悉數(shù)據(jù)庫查詢的人，Hadoop工具（如Hive和實(shí)時(shí)Hadoop查詢）提供了較低的門檻，所以一些人認(rèn)為Hadoop僅僅是以數(shù)據(jù)庫為中心的工具。

此外，如果你正在試圖解決的問題超出了數(shù)據(jù)分析的范疇，并涉及到真正的“科學(xué)數(shù)據(jù)”的問題，這時(shí)，SQL數(shù)據(jù)挖掘技術(shù)將明顯變得不再實(shí)用。例如，大多數(shù)問題的解決，需要用到線性代數(shù)和其它復(fù)雜的數(shù)學(xué)應(yīng)用程序，然而，這些問題都不能用SQL很好地解決。

這意味著，使用Hadoop工具是解決這類問題的最好辦法。利用Hadoop的MapReduce編程模型，不但解決了數(shù)據(jù)科學(xué)的問題，而且明顯簡(jiǎn)化了企業(yè)級(jí)應(yīng)用創(chuàng)建和部署的過程?？梢酝ㄟ^多種方式做到這一點(diǎn)——可以使用一些工具，這些工具往往要求開發(fā)者具備軟件開發(fā)技能。例如，通過使用基于Oozie的應(yīng)用程序進(jìn)行協(xié)調(diào)（在本書后面將詳細(xì)介紹Oozie），可以簡(jiǎn)化多個(gè)應(yīng)用程序的匯集過程，并非常靈活地鏈接來自多個(gè)工具的任務(wù)。在本書中，你會(huì)看到Hadoop在企業(yè)中的實(shí)際應(yīng)用，以及什么時(shí)候使用這些工具。

目前Hadoop的開發(fā)，主要是為了更好地支持?jǐn)?shù)據(jù)科學(xué)家。Hadoop提供了一個(gè)強(qiáng)大的計(jì)算平臺(tái)，擁有高擴(kuò)展性和并行執(zhí)行能力，非常適合應(yīng)用于新一代功能強(qiáng)大的數(shù)據(jù)科學(xué)和企業(yè)級(jí)應(yīng)用。并且，Hadoop還提供了可伸縮的分布式存儲(chǔ)和MapReduce編程模式。企業(yè)正在使用Hadoop解決相關(guān)業(yè)務(wù)問題，主要集中在以下幾個(gè)方面：

• 為銀行和信用卡公司增強(qiáng)欺詐性檢測(cè)——公司正在利用Hadoop檢測(cè)交易過程中的欺詐行為。銀行通過使用Hadoop，建立大型集群，進(jìn)行數(shù)據(jù)分析；并將分析模型應(yīng)用于銀行交易過程，從而提供實(shí)時(shí)的欺詐行為檢測(cè)。
• 社交媒體市場(chǎng)分析——公司目前正在使用Hadoop進(jìn)行品牌管理、市場(chǎng)推廣活動(dòng)和品牌保護(hù)?；ヂ?lián)網(wǎng)充滿了各種資源，例如博客、版面、新聞、推特和社會(huì)媒體數(shù)據(jù)等。公司利用Hadoop監(jiān)測(cè)、收集、匯聚這些信息，并提取、匯總自身的產(chǎn)品和服務(wù)信息，以及競(jìng)爭(zhēng)對(duì)手的相關(guān)信息，發(fā)掘內(nèi)在商業(yè)模式，或者預(yù)測(cè)未來的可能趨勢(shì)，從而更加了解自身的業(yè)務(wù)。
• 零售行業(yè)購物模式分析——在零售行業(yè)，通過使用Hadoop分析商店的位置和它周圍人口的購物模式，來確定商店里哪些產(chǎn)品最暢銷。
• 城市發(fā)展的交通模式識(shí)別——城市發(fā)展往往需要依賴交通模式，來確定道路網(wǎng)絡(luò)擴(kuò)展的需求。通過監(jiān)控在一天內(nèi)不同時(shí)間的交通狀況，發(fā)掘交通模型，城市規(guī)劃人員就可以確定交通瓶頸。從而決定是否需要增加街道或者車道，來避免在高峰時(shí)段的交通擁堵。
• 內(nèi)容優(yōu)化和內(nèi)容參與——企業(yè)越來越專注于優(yōu)化內(nèi)容，將其呈現(xiàn)在不同的設(shè)備上，并支持不同格式。因此，許多媒體公司需要處理大量的不同的格式的內(nèi)容。所以，必須規(guī)劃內(nèi)容參與模式，才能進(jìn)行反饋和改進(jìn)。
• 網(wǎng)絡(luò)分析和調(diào)解——針對(duì)交易數(shù)據(jù)、網(wǎng)絡(luò)性能數(shù)據(jù)、基站數(shù)據(jù)、設(shè)備數(shù)據(jù)以及其他形式的后臺(tái)數(shù)據(jù)等，進(jìn)行大數(shù)據(jù)實(shí)時(shí)分析，能夠降低公司運(yùn)營成本，增強(qiáng)用戶體驗(yàn)。
• 大數(shù)據(jù)轉(zhuǎn)換——紐約時(shí)報(bào)要將1100萬篇文章（1851至1980年）轉(zhuǎn)換成PDF文件，這些文章都是從報(bào)紙上掃描得到的圖片。利用Hadoop技術(shù)，這家報(bào)社能夠在24小時(shí)內(nèi)，將4TB的掃描文章轉(zhuǎn)換為1.5TB的PDF文檔。

類似的例子數(shù)不勝數(shù)。企業(yè)正在逐步使用Hadoop進(jìn)行數(shù)據(jù)分析，從而作出更好的戰(zhàn)略決策?？偠灾瑪?shù)據(jù)科學(xué)已經(jīng)進(jìn)入了商界。

不僅僅是針對(duì)商業(yè)的大數(shù)據(jù)工具

雖然這里的大多數(shù)例子針對(duì)于商業(yè)，但是Hadoop也被廣泛應(yīng)用在科學(xué)界和公有企業(yè)。

最近一項(xiàng)由美國科技基金會(huì)進(jìn)行的研究指出，醫(yī)療研究人員已經(jīng)證明，大數(shù)據(jù)分析可以被用于分析癌癥患者的信息，以提高治療效果（比如，蘋果創(chuàng)始人喬布斯的治療過程）。警察部門正在使用大數(shù)據(jù)工具，來預(yù)測(cè)犯罪可能的發(fā)生時(shí)間和地點(diǎn)，從而降低了犯罪率。同樣的調(diào)查也表明，能源方面的官員正在利用大數(shù)據(jù)工具，分析相關(guān)的能量損耗和潛在的電網(wǎng)故障問題。

通過分析大數(shù)據(jù)可以發(fā)現(xiàn)模型和趨勢(shì)，提高效率，從而用新方法來作出更好的決策。

1.2 Hadoop生態(tài)圈

架構(gòu)師和開發(fā)人員通常會(huì)使用一種軟件工具，用于其特定的用途軟件開發(fā)。例如，他們可能會(huì)說，Tomcat是Apache Web服務(wù)器，MySQL是一個(gè)數(shù)據(jù)庫工具。

然而，當(dāng)提到Hadoop的時(shí)候，事情變得有點(diǎn)復(fù)雜。Hadoop包括大量的工具，用來協(xié)同工作。因此，Hadoop可用于完成許多事情，以至于，人們常常根據(jù)他們使用的方式來定義它。

對(duì)于一些人來說，Hadoop是一個(gè)數(shù)據(jù)管理系統(tǒng)。他們認(rèn)為Hadoop是數(shù)據(jù)分析的核心，匯集了結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，這些數(shù)據(jù)分布在傳統(tǒng)的企業(yè)數(shù)據(jù)棧的每一層。對(duì)于其他人，Hadoop是一個(gè)大規(guī)模并行處理框架，擁有超級(jí)計(jì)算能力，定位于推動(dòng)企業(yè)級(jí)應(yīng)用的執(zhí)行。還有一些人認(rèn)為Hadoop作為一個(gè)開源社區(qū)，主要為解決大數(shù)據(jù)的問題提供工具和軟件。因?yàn)?a href='/map/hadoop/' style='color:#000;font-size:inherit;'>Hadoop可以用來解決很多問題，所以很多人認(rèn)為Hadoop是一個(gè)基本框架。

雖然Hadoop提供了這么多的功能，但是仍然應(yīng)該把它歸類為多個(gè)組件組成的Hadoop生態(tài)圈，這些組件包括數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)集成、數(shù)據(jù)處理和其它進(jìn)行數(shù)據(jù)分析的專門工具。

1.3 HADOOP核心部件

隨著時(shí)間的推移，Hadoop生態(tài)圈越來越大，圖1-1給出了Hadoop核心組件。

圖1：Hadoop生態(tài)圈的核心組成組件

從圖1-1的底部開始，Hadoop生態(tài)圈由以下內(nèi)容組成：

HDFS—— Hadoop生態(tài)圈的基本組成部分是Hadoop分布式文件系統(tǒng)（HDFS）。HDFS是一種數(shù)據(jù)分布式保存機(jī)制，數(shù)據(jù)被保存在計(jì)算機(jī)集群上。數(shù)據(jù)寫入一次，讀取多次。HDFS為HBase等工具提供了基礎(chǔ)。

MapReduce——Hadoop的主要執(zhí)行框架是MapReduce，它是一個(gè)分布式、并行處理的編程模型。MapReduce把任務(wù)分為map(映射)階段和reduce(化簡(jiǎn))。開發(fā)人員使用存儲(chǔ)在HDFS中數(shù)據(jù)（可實(shí)現(xiàn)快速存儲(chǔ)），編寫Hadoop的MapReduce任務(wù)。由于MapReduce工作原理的特性， Hadoop能以并行的方式訪問數(shù)據(jù)，從而實(shí)現(xiàn)快速訪問數(shù)據(jù)。

Hbase——HBase是一個(gè)建立在HDFS之上，面向列的NoSQL數(shù)據(jù)庫，用于快速讀/寫大量數(shù)據(jù)。HBase使用Zookeeper進(jìn)行管理，確保所有組件都正常運(yùn)行。