大數(shù)據(jù)和Hadoop生態(tài)圈 大數(shù)據(jù)的挑戰(zhàn)_數(shù)據(jù)分析師

你可能聽別人說過，我們生活在“大數(shù)據(jù)”的環(huán)境中。技術(shù)驅(qū)動(dòng)著當(dāng)今世界的發(fā)展，計(jì)算能力飛速增長，電子設(shè)備越來越普遍，因特網(wǎng)越來越容易接入，與此同時(shí)，比以往任何時(shí)候都多的數(shù)據(jù)正在被傳輸和收集。

　　企業(yè)正在以驚人的速度產(chǎn)生數(shù)據(jù)。僅Facebook每天就會(huì)收集 250 TB 的數(shù)據(jù)。Thompson Reuters News Analytics (湯普森路透社新聞分析)顯示，現(xiàn)在數(shù)字?jǐn)?shù)據(jù)的總量比2009年的1ZB(1ZB等同于一百萬 PB)多了兩倍多，到 2015 年有可能將達(dá)到7.9ZB，到 2020 年則有可能會(huì)達(dá)到35ZB。其他調(diào)查機(jī)構(gòu)甚至做出了更高的預(yù)測(cè)。

　　隨著企業(yè)產(chǎn)生并收集的數(shù)據(jù)量增多，他們開始認(rèn)識(shí)到數(shù)據(jù)分析的重要性。但是，他們必須先有效地管理好自己擁有的大量信息。這會(huì)產(chǎn)生新的挑戰(zhàn)：怎樣才能存儲(chǔ)大量的數(shù)據(jù)?怎樣處理它們?怎樣高效地分析它們?既然數(shù)據(jù)會(huì)增加，又如何構(gòu)建一個(gè)可擴(kuò)展的解決方案?

　　不僅研究人員和數(shù)據(jù)科學(xué)家要面對(duì)大數(shù)據(jù)的挑戰(zhàn)。幾年前，在Google+ 大會(huì)上，計(jì)算機(jī)書籍出版者Tim O’Reilly引用過Alistair Croll的話，“這些產(chǎn)生了大量的無明顯規(guī)律數(shù)據(jù)的公司，正在被那些產(chǎn)生了相對(duì)較少的有規(guī)律數(shù)據(jù)的新創(chuàng)公司取代……”。簡而言之，Croll想要說，除非你的企業(yè)“理解”你擁有的數(shù)據(jù)，否則你的企業(yè)無法與那些“理解”自身數(shù)據(jù)的公司抗衡。

　　企業(yè)已經(jīng)意識(shí)到：大數(shù)據(jù)與商業(yè)競爭、態(tài)勢(shì)感知、生產(chǎn)力、科學(xué)和創(chuàng)新等密切相關(guān)，分析這些大數(shù)據(jù)能夠獲得巨大的效益。因?yàn)樯虡I(yè)競爭正在驅(qū)動(dòng)大數(shù)據(jù)分析，所以大多數(shù)企業(yè)認(rèn)同O’Reilly和Croll的觀點(diǎn)。他們認(rèn)為當(dāng)今企業(yè)的生存依賴于存儲(chǔ)、處理和分析大量信息的能力，依賴于是否掌控了接受大數(shù)據(jù)挑戰(zhàn)的能力。

　　如果你閱讀這本書，你將會(huì)熟悉這些挑戰(zhàn)，熟悉Apache的Hadoop，并且知道Hadoop可以解決哪些問題。本章主要介紹大數(shù)據(jù)的前景和挑戰(zhàn)，并且概述Hadoop及其組件生態(tài)圈。可以利用這些組件構(gòu)建可擴(kuò)展、分布式的數(shù)據(jù)分析解決方案。

　　1.1 當(dāng)大數(shù)據(jù)遇到Hadoop

　　由于“人力資本”是一個(gè)無形的、對(duì)成功至關(guān)重要的因素，所以多數(shù)企業(yè)都認(rèn)為他們的員工才是他們最有價(jià)值的財(cái)產(chǎn)。其實(shí)還有另外一個(gè)關(guān)鍵因素——企業(yè)所擁有的“信息”。信息可信度、信息量和信息可訪問性可以增強(qiáng)企業(yè)信息能力，從而使企業(yè)做出更好的決策。

　　要理解企業(yè)產(chǎn)生的大量的數(shù)字信息是非常困難的。IBM指出在過去僅僅兩年的時(shí)間里產(chǎn)生了世界90%的數(shù)據(jù)。企業(yè)正在收集、處理和存儲(chǔ)這些可能成為戰(zhàn)略資源的數(shù)據(jù)。十年前，Michael Daconta, Leo Obrst, and Kevin T.Smith (Indianapolis: Wiley, 2004)寫的一本書《The Semantic Web: A Guide to the Future of XML, Web Services, and Knowledge Management》中有句格言“只有擁有最好的信息，知道怎樣發(fā)現(xiàn)信息，并能夠最快利用信息的企業(yè)才能立于不敗之地”。

　　知識(shí)就是力量。問題是，隨著收集的數(shù)據(jù)越來越多，傳統(tǒng)的數(shù)據(jù)庫工具將不能管理，并且快速處理這些數(shù)據(jù)。這將導(dǎo)致企業(yè)“淹沒”在自己的數(shù)據(jù)中：不能有效利用數(shù)據(jù)，不能理解數(shù)據(jù)之間的聯(lián)系，不能理解數(shù)據(jù)潛在的巨大力量。

　　人們用“大數(shù)據(jù)”來描述過于龐大的數(shù)據(jù)集，這些數(shù)據(jù)集一般無法使用傳統(tǒng)的用于存儲(chǔ)、管理、搜索和分析等過程的工具來處理。大數(shù)據(jù)有眾多來源，可以是結(jié)構(gòu)型的，也可以是非結(jié)構(gòu)型的;通過處理和分析大數(shù)據(jù)，可以發(fā)現(xiàn)內(nèi)部規(guī)律和模式，從而做出明智選擇。

　　什么是大數(shù)據(jù)的挑戰(zhàn)?怎么存儲(chǔ)、處理和分析如此大的數(shù)據(jù)量，從而從海量數(shù)據(jù)中獲取有用信息?

　　分析大數(shù)據(jù)，需要大量的存儲(chǔ)空間和超級(jí)計(jì)算處理能力。在過去的十年中，研究人員嘗試了各種的方法來解決數(shù)字信息增加帶來的問題。首先，把重點(diǎn)放在了給單個(gè)計(jì)算機(jī)更多的存儲(chǔ)、處理能力和內(nèi)存等上面，卻發(fā)現(xiàn)單臺(tái)計(jì)算機(jī)的分析能力并不能解決問題。隨著時(shí)間的推移，許多組織實(shí)現(xiàn)了分布式系統(tǒng)(通過多臺(tái)計(jì)算機(jī)分布任務(wù))，但是分布式系統(tǒng)的數(shù)據(jù)分析解決方案往往很復(fù)雜，并且容易出錯(cuò)，甚至速度不夠快。

　　在2002年，Doug Cutting和Mike Cafarella開發(fā)一個(gè)名為Nutch的項(xiàng)目(專注于解決網(wǎng)絡(luò)爬蟲、建立索引和搜索網(wǎng)頁的搜索引擎項(xiàng)目)，用于處理大量信息。在為Nutch項(xiàng)目解決存儲(chǔ)和處理問題的過程中，他們意識(shí)到，需要一個(gè)可靠的、分布式計(jì)算方法，為Nutch收集大量網(wǎng)頁數(shù)據(jù)。

　　一年后，谷歌發(fā)表了關(guān)于谷歌文件系統(tǒng)(GFS)和MapReduce的論文，MapReduce是一個(gè)用來處理大型數(shù)據(jù)集的算法和分布式編程平臺(tái)。當(dāng)意識(shí)到集群的分布式處理和分布式存儲(chǔ)的前景后，Cutting和Cafarella把這些論文作為基礎(chǔ)，為Nutch構(gòu)建分布式平臺(tái)，開發(fā)了我們所熟知的Hadoop分布式文件系統(tǒng)(HDFS)和MapReduce。

　　在2006年，Yahoo在為搜索引擎建立大量信息的索引的過程中，經(jīng)歷了“大數(shù)據(jù)”挑戰(zhàn)的掙扎之后，看到了Nutch項(xiàng)目的前景，聘請(qǐng)了Doug Cutting，并迅速?zèng)Q定采用Hadoop作為其分布式架構(gòu)，用來解決搜索引擎方面的問題。雅虎剝離出來Nutch項(xiàng)目的存儲(chǔ)和處理部分，形成Apache基金的一個(gè)開源項(xiàng)目Hadoop，與此同時(shí)Nutch的網(wǎng)絡(luò)爬蟲項(xiàng)目保持自己獨(dú)立性。此后不久，雅虎開始使用Hadoop分析各種產(chǎn)品應(yīng)用。該平臺(tái)非常有效，以至于雅虎把搜索業(yè)務(wù)和廣告業(yè)務(wù)合并成一個(gè)單元，從而更好地利用Hadoop技術(shù)。

　　在過去的10年中，Hadoop已經(jīng)從搜索引擎相關(guān)的平臺(tái)，演變?yōu)樽盍餍型ㄓ玫挠?jì)算平臺(tái)，用于解決大數(shù)據(jù)帶來的挑戰(zhàn)。它正在快速成為下一代基于數(shù)據(jù)的應(yīng)用程序的基礎(chǔ)。市場研究公司IDC預(yù)計(jì)，到2016年，Hadoop驅(qū)動(dòng)的大數(shù)據(jù)市場將超過23億美元。自從2008年建立第一家以Hadoop為中心的公司Cloudera之后，幾十家基于Hadoop的創(chuàng)業(yè)公司吸引了數(shù)億美元的風(fēng)險(xiǎn)投資。簡而言之，Hadoop為企業(yè)提供了一個(gè)行之有效的方法，來進(jìn)行大數(shù)據(jù)分析。