Apache Hadoop技術(shù)經(jīng)常與大數(shù)據(jù)概念聯(lián)系在一起，它們常常同時出現(xiàn)在各種行業(yè)會議和媒體報道中。而IT人員、咨詢顧問和行業(yè)分析師已經(jīng)逐漸達成共識，Hadoop只是諸多大數(shù)據(jù)技術(shù)中的一種。

　　Hadoop是一個開源技術(shù) ，它允許公司存儲和分析分布式計算環(huán)境的海量數(shù)據(jù)。它的出現(xiàn)肯定對提升大數(shù)據(jù)的影響力有重要作用。但是行業(yè)觀察者指出，Hadoop現(xiàn)在仍存在一些問題。

　　Forrester機構(gòu)的企業(yè)架構(gòu)分析師Brian Hopkins說：人們開始認(rèn)識到，大數(shù)據(jù)和Hadoop并不是同義詞。這是因為他們下載Hadoop之后，并不意味著就能夠玩兒轉(zhuǎn)大數(shù)據(jù)，它僅僅只是一個工具。

　　大數(shù)據(jù)與Hadoop：從幕后走到臺前

　　Hadoop最初由互聯(lián)網(wǎng)巨頭谷歌和雅虎共同開發(fā)，現(xiàn)在已經(jīng)轉(zhuǎn)移到Apache軟件基金會。在贏得了大數(shù)據(jù)必備工具的稱號并開始出現(xiàn)一些成功案例之后，這項技術(shù)及其醒目的logo從2011年起名聲大振。

　　以eBay為例，這家知名電商平臺在幾次大會上都介紹了它的三層數(shù)據(jù)分析平臺。結(jié)構(gòu)化數(shù)據(jù)位于第一層：一個用于保存內(nèi)部業(yè)務(wù)項目(如支撐商業(yè)智能儀表板和報表)的企業(yè)數(shù)據(jù)倉庫。第二層由Teradata數(shù)據(jù)管理平臺組成，用于存儲大容量半結(jié)構(gòu)化信息。而非結(jié)構(gòu)化數(shù)據(jù)(如文本信息)則保存在第三層，它是一個用于深度研究、分析和實驗的Hadoop集群。

　　Hopkins在最新播客大數(shù)據(jù)的超大規(guī)模價值上指出：現(xiàn)在出現(xiàn)了一個有趣的用例，其中Hadoop被看作是一種快速分布式環(huán)境，它成為分段存儲大量信息的場所。因為你還無法確定如何處理它，所以直接將原始文件保存在Hadoop中，然后由Hadoop處理這些文件。

　　Hadoop是一個分布式文件系統(tǒng)，它的數(shù)據(jù)(結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化)存儲功能優(yōu)于關(guān)系型數(shù)據(jù)庫。因此，它非常適合那些需要收集大量數(shù)據(jù)(如無統(tǒng)一格式的社交媒體網(wǎng)站內(nèi)容、計算機生成的傳感器日志和GPS位置信息)的公司使用，而不會影響他們的傳統(tǒng)關(guān)系數(shù)據(jù)庫。

　　Wayne Eckerson是TechTarget業(yè)務(wù)應(yīng)用研究主管，他在最新報告大數(shù)據(jù)及其對數(shù)據(jù)倉庫的影響中指出：Hadoop是一種載入立即可執(zhí)行的環(huán)境：管理員可以在Hadoop中存儲大量數(shù)據(jù)，而不需要將它們轉(zhuǎn)換為特定的結(jié)構(gòu)。然后，用戶就可以使用他們的工具分析這些數(shù)據(jù)。

　　SAS 研究所的資深行業(yè)分析師Jill Dyché也指出，Hadoop使用戶能夠查看原始數(shù)據(jù)，這在一定程度上改變了數(shù)據(jù)倉庫使用者的工作方式。

　　她說：在數(shù)據(jù)倉庫領(lǐng)域，我們鼓勵提出業(yè)務(wù)需求，鼓勵嚴(yán)格的數(shù)據(jù)質(zhì)量要求，但是不鼓勵獨立加載數(shù)據(jù)。但是在大數(shù)據(jù)領(lǐng)域，這一方式得到了顛覆。

　　Apache Hadoop困境

　　Hadoop還有其他優(yōu)點。例如， MapReduce能夠以并行方式處理大數(shù)據(jù)集。根據(jù)行業(yè)分析師Philip Russom的觀點，它是一個通用執(zhí)行引擎，甚至能夠處理手工編碼的代碼。

　　但是，如果要使用MapReduce，程序員必須能夠操作它的語言。有一些工具并未被廣泛熟悉，如Hive，它使用一種類SQL的語言(HQL)訪問數(shù)據(jù)。

　　Russom指出：我曾經(jīng)聽人說：‘Hive很容易學(xué)。’但是，它無法真正解決與傳統(tǒng)SQL工具的兼容問題。

　　關(guān)心數(shù)據(jù)分析的公司還需要一些技術(shù)人員參與(如數(shù)據(jù)科學(xué)家)，他們應(yīng)該有能力操作Hadoop的專用工具。數(shù)據(jù)科學(xué)家一般具備博士學(xué)位，因此，他們的薪水可能很高，而且也很難招聘到。

　　此外，這項技術(shù)還有其他一些缺點：Eckerson甚至將Apache Hadoop描述為乳臭未干，而且在安全性、數(shù)據(jù)質(zhì)量和元數(shù)據(jù)分類等功能上存在不足。Hopkins認(rèn)為它很難用，不成熟。Russom認(rèn)為這項技術(shù)肯定會有不錯的前景，但是成為主流應(yīng)用還需要幾年時間。

　　根據(jù)eBay高級技術(shù)成員和架構(gòu)師Tom Fastner的觀點，即使在eBay，其核心競爭力也不在于Hadoop，而是構(gòu)成數(shù)據(jù)分析平臺的第二層技術(shù)。eBay將它基于Teradata的數(shù)據(jù)庫系統(tǒng)稱為Singularity，并且表示它將提供30 PB空間，而并發(fā)性低于EDW。Fastner指出，Singularity的最大應(yīng)用是用戶行為分析，這個流程通常可以產(chǎn)生寶貴的商業(yè)洞察力。

　　而且，F(xiàn)orrester的Hopkins指出，有其他技術(shù)可以幫助企業(yè)實現(xiàn)優(yōu)于Hadoop的大數(shù)據(jù)方案。所有這些都取決于業(yè)務(wù)需求。他說：我們分析了大數(shù)據(jù)技術(shù)的兩個不同方面。其一是結(jié)構(gòu)，另一個是延遲。

　　每一個方面由低到高排列，大數(shù)據(jù)工具和技術(shù)都屬于這些范疇。例如，內(nèi)存技術(shù)(如SAP HANA)可以在高度結(jié)構(gòu)化數(shù)據(jù)上實現(xiàn)低延遲的查詢結(jié)果，而大規(guī)模并行處理(MPP)技術(shù)(包括Teradata和IBM Netezza)都可以處理高延遲的高度結(jié)構(gòu)化數(shù)據(jù)。

　　Hopkins說，雖然Hadoop能處理多種數(shù)據(jù)類型，但由于批處理的方式，這使得它無法搭建實時環(huán)境。

　　專家指出，Hadoop的光環(huán)可能會慢慢消退，但現(xiàn)在它仍然是倍受關(guān)注的技術(shù)，它的主要支持者仍然是互聯(lián)網(wǎng)巨頭。（文章來自：CDA數(shù)據(jù)分析師培訓(xùn)官網(wǎng)）