大數(shù)據(jù)和Hadoop生態(tài)圈 大數(shù)據(jù)的挑戰(zhàn)_數(shù)據(jù)分析師

你可能聽別人說過，我們生活在“大數(shù)據(jù)”的環(huán)境中。技術(shù)驅(qū)動著當今世界的發(fā)展，計算能力飛速增長，電子設備越來越普遍，因特網(wǎng)越來越容易接入，與此同時，比以往任何時候都多的數(shù)據(jù)正在被傳輸和收集。

　　企業(yè)正在以驚人的速度產(chǎn)生數(shù)據(jù)。僅Facebook每天就會收集 250 TB 的數(shù)據(jù)。Thompson Reuters News Analytics (湯普森路透社新聞分析)顯示，現(xiàn)在數(shù)字數(shù)據(jù)的總量比2009年的1ZB(1ZB等同于一百萬 PB)多了兩倍多，到 2015 年有可能將達到7.9ZB，到 2020 年則有可能會達到35ZB。其他調(diào)查機構(gòu)甚至做出了更高的預測。

　　隨著企業(yè)產(chǎn)生并收集的數(shù)據(jù)量增多，他們開始認識到數(shù)據(jù)分析的重要性。但是，他們必須先有效地管理好自己擁有的大量信息。這會產(chǎn)生新的挑戰(zhàn)：怎樣才能存儲大量的數(shù)據(jù)?怎樣處理它們?怎樣高效地分析它們?既然數(shù)據(jù)會增加，又如何構(gòu)建一個可擴展的解決方案?

　　不僅研究人員和數(shù)據(jù)科學家要面對大數(shù)據(jù)的挑戰(zhàn)。幾年前，在Google+ 大會上，計算機書籍出版者Tim O’Reilly引用過Alistair Croll的話，“這些產(chǎn)生了大量的無明顯規(guī)律數(shù)據(jù)的公司，正在被那些產(chǎn)生了相對較少的有規(guī)律數(shù)據(jù)的新創(chuàng)公司取代……”。簡而言之，Croll想要說，除非你的企業(yè)“理解”你擁有的數(shù)據(jù)，否則你的企業(yè)無法與那些“理解”自身數(shù)據(jù)的公司抗衡。

　　企業(yè)已經(jīng)意識到：大數(shù)據(jù)與商業(yè)競爭、態(tài)勢感知、生產(chǎn)力、科學和創(chuàng)新等密切相關(guān)，分析這些大數(shù)據(jù)能夠獲得巨大的效益。因為商業(yè)競爭正在驅(qū)動大數(shù)據(jù)分析，所以大多數(shù)企業(yè)認同O’Reilly和Croll的觀點。他們認為當今企業(yè)的生存依賴于存儲、處理和分析大量信息的能力，依賴于是否掌控了接受大數(shù)據(jù)挑戰(zhàn)的能力。

　　如果你閱讀這本書，你將會熟悉這些挑戰(zhàn)，熟悉Apache的Hadoop，并且知道Hadoop可以解決哪些問題。本章主要介紹大數(shù)據(jù)的前景和挑戰(zhàn)，并且概述Hadoop及其組件生態(tài)圈?？梢岳眠@些組件構(gòu)建可擴展、分布式的數(shù)據(jù)分析解決方案。

　　1.1 當大數(shù)據(jù)遇到Hadoop

　　由于“人力資本”是一個無形的、對成功至關(guān)重要的因素，所以多數(shù)企業(yè)都認為他們的員工才是他們最有價值的財產(chǎn)。其實還有另外一個關(guān)鍵因素——企業(yè)所擁有的“信息”。信息可信度、信息量和信息可訪問性可以增強企業(yè)信息能力，從而使企業(yè)做出更好的決策。

　　要理解企業(yè)產(chǎn)生的大量的數(shù)字信息是非常困難的。IBM指出在過去僅僅兩年的時間里產(chǎn)生了世界90%的數(shù)據(jù)。企業(yè)正在收集、處理和存儲這些可能成為戰(zhàn)略資源的數(shù)據(jù)。十年前，Michael Daconta, Leo Obrst, and Kevin T.Smith (Indianapolis: Wiley, 2004)寫的一本書《The Semantic Web: A Guide to the Future of XML, Web Services, and Knowledge Management》中有句格言“只有擁有最好的信息，知道怎樣發(fā)現(xiàn)信息，并能夠最快利用信息的企業(yè)才能立于不敗之地”。

　　知識就是力量。問題是，隨著收集的數(shù)據(jù)越來越多，傳統(tǒng)的數(shù)據(jù)庫工具將不能管理，并且快速處理這些數(shù)據(jù)。這將導致企業(yè)“淹沒”在自己的數(shù)據(jù)中：不能有效利用數(shù)據(jù)，不能理解數(shù)據(jù)之間的聯(lián)系，不能理解數(shù)據(jù)潛在的巨大力量。

　　人們用“大數(shù)據(jù)”來描述過于龐大的數(shù)據(jù)集，這些數(shù)據(jù)集一般無法使用傳統(tǒng)的用于存儲、管理、搜索和分析等過程的工具來處理。大數(shù)據(jù)有眾多來源，可以是結(jié)構(gòu)型的，也可以是非結(jié)構(gòu)型的;通過處理和分析大數(shù)據(jù)，可以發(fā)現(xiàn)內(nèi)部規(guī)律和模式，從而做出明智選擇。

　　什么是大數(shù)據(jù)的挑戰(zhàn)?怎么存儲、處理和分析如此大的數(shù)據(jù)量，從而從海量數(shù)據(jù)中獲取有用信息?

　　分析大數(shù)據(jù)，需要大量的存儲空間和超級計算處理能力。在過去的十年中，研究人員嘗試了各種的方法來解決數(shù)字信息增加帶來的問題。首先，把重點放在了給單個計算機更多的存儲、處理能力和內(nèi)存等上面，卻發(fā)現(xiàn)單臺計算機的分析能力并不能解決問題。隨著時間的推移，許多組織實現(xiàn)了分布式系統(tǒng)(通過多臺計算機分布任務)，但是分布式系統(tǒng)的數(shù)據(jù)分析解決方案往往很復雜，并且容易出錯，甚至速度不夠快。

　　在2002年，Doug Cutting和Mike Cafarella開發(fā)一個名為Nutch的項目(專注于解決網(wǎng)絡爬蟲、建立索引和搜索網(wǎng)頁的搜索引擎項目)，用于處理大量信息。在為Nutch項目解決存儲和處理問題的過程中，他們意識到，需要一個可靠的、分布式計算方法，為Nutch收集大量網(wǎng)頁數(shù)據(jù)。

　　一年后，谷歌發(fā)表了關(guān)于谷歌文件系統(tǒng)(GFS)和MapReduce的論文，MapReduce是一個用來處理大型數(shù)據(jù)集的算法和分布式編程平臺。當意識到集群的分布式處理和分布式存儲的前景后，Cutting和Cafarella把這些論文作為基礎，為Nutch構(gòu)建分布式平臺，開發(fā)了我們所熟知的Hadoop分布式文件系統(tǒng)(HDFS)和MapReduce。

　　在2006年，Yahoo在為搜索引擎建立大量信息的索引的過程中，經(jīng)歷了“大數(shù)據(jù)”挑戰(zhàn)的掙扎之后，看到了Nutch項目的前景，聘請了Doug Cutting，并迅速決定采用Hadoop作為其分布式架構(gòu)，用來解決搜索引擎方面的問題。雅虎剝離出來Nutch項目的存儲和處理部分，形成Apache基金的一個開源項目Hadoop，與此同時Nutch的網(wǎng)絡爬蟲項目保持自己獨立性。此后不久，雅虎開始使用Hadoop分析各種產(chǎn)品應用。該平臺非常有效，以至于雅虎把搜索業(yè)務和廣告業(yè)務合并成一個單元，從而更好地利用Hadoop技術(shù)。

　　在過去的10年中，Hadoop已經(jīng)從搜索引擎相關(guān)的平臺，演變?yōu)樽盍餍型ㄓ玫挠嬎闫脚_，用于解決大數(shù)據(jù)帶來的挑戰(zhàn)。它正在快速成為下一代基于數(shù)據(jù)的應用程序的基礎。市場研究公司IDC預計，到2016年，Hadoop驅(qū)動的大數(shù)據(jù)市場將超過23億美元。自從2008年建立第一家以Hadoop為中心的公司Cloudera之后，幾十家基于Hadoop的創(chuàng)業(yè)公司吸引了數(shù)億美元的風險投資。簡而言之，Hadoop為企業(yè)提供了一個行之有效的方法，來進行大數(shù)據(jù)分析。