數(shù)據(jù)分析不使用Hadoop的五大理由_數(shù)據(jù)分析師

作為Hadoop 曾經(jīng)的超級粉絲，Joe Brightly承認(rèn)自己在很多方面非常熱愛Hadoop，比如“可以處理PB級別的數(shù)據(jù)；可以擴(kuò)展到數(shù)千個處理大量計算工作的節(jié)點(diǎn)；可以用非常靈活的方式存儲和加載數(shù)據(jù)……”但當(dāng)他部署Hadoop用于分析的時候，他才意識到它并不是無所不能。

在Quantivo，Joe及其同事已經(jīng)“探索了許多方法來部署Hadoop用于回答分析型查詢”，直到最后，“它變得好像是用一個錘子來建造一個房屋的運(yùn)動”，這并不是不可能，但是帶來了“不必要的痛苦和可笑的低效成本”。

Joe 從五個方面分析了為什么數(shù)據(jù)分析不使用Hadoop的理由：

1：“Hadoop是一個框架，不是一個解決方案”

他認(rèn)為在解決大數(shù)據(jù)分析的問題上人們誤認(rèn)為Hadoop可以立即有效工作，而實際上“對于簡單的查詢，它是可以的。但對于難一些的分析問題，Hadoop會迅速敗下陣來，因為需要你直接開發(fā)Map/Reduce代碼。出于這個原因，Hadoop更像是J2EE編程環(huán)境而不是商業(yè)分析解決方案。” 所謂框架意味著你一定要在之上做個性化和業(yè)務(wù)相關(guān)的開發(fā)和實現(xiàn)，而這些都需要成本。

2：“Hadoop的子項目Hive和Pig 都不錯，但不能逾越其架構(gòu)的限制。”

Joe提出“Hive 和Pig 都是幫助非專業(yè)工程師快速有效使用Hadoop的完善工具，用于把分析查詢轉(zhuǎn)換為常用的SQL或Java Map/Reduce 任務(wù)，這些任務(wù)可以部署在Hadoop環(huán)境中?！逼渲?a href='/map/hive/' style='color:#000;font-size:inherit;'>Hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，它可以幫助實現(xiàn)數(shù)據(jù)匯總、即時查詢以及分析存儲在Hadoop兼容的文件系統(tǒng)的大型數(shù)據(jù)集等。而Pig是并行計算的高級數(shù)據(jù)流語言和執(zhí)行框架。但作者認(rèn)為“Hadoop的Map/Reduce框架的一些限制，會導(dǎo)致效率低下，尤其是在節(jié)點(diǎn)間通信的情況（這種場合需要排序和連接）?！?/span>

3：“部署是很方便，快捷而且免費(fèi)，但在后期維護(hù)和開發(fā)方面成本很高 ”

Joe不否認(rèn)“工程師可以在一個小時內(nèi)下載、安裝并發(fā)布一個簡單的查詢，因此Hadoop是非常受歡迎的。而且作為沒有軟件成本的開源項目使得它是替代甲骨文和Teradata的一個非常有吸引力的選擇。但是就像很多通用開源框架一樣，它并不會完全適配你的業(yè)務(wù)，因此，要想把開源框架業(yè)務(wù)化，你就不得不投入開發(fā)和維護(hù)。”Joe 也認(rèn)為“一旦當(dāng)你進(jìn)入維護(hù)和開發(fā)階段，Hadoop的真正成本就會變得很明顯。”

4：“對于大數(shù)據(jù)流水線和匯總非常有效，但對應(yīng)用于特定的分析來說是非?？膳碌摹！?/span>

“Hadoop擅長于大量數(shù)據(jù)的分析和匯總，或把原始數(shù)據(jù)轉(zhuǎn)化成對另一個應(yīng)用程序（如搜索或文本挖掘）更有效的東西‘流水線’- 這是它存在的意義。不過，如果你不知道要分析的問題，或如果你想探索數(shù)據(jù)的模式，Hadoop的很快變得不可收拾?！斑@再次回到了業(yè)務(wù)本身，框架是為業(yè)務(wù)服務(wù)的，即便是大數(shù)據(jù)的分析和匯總，也難以脫離其數(shù)據(jù)的業(yè)務(wù)特性。所以對于特定的分析，仍然不得不在編程和執(zhí)行MapReduce代碼上花很多時間才能達(dá)到目的。

5：“性能除了‘不好’的時候都很好。”

“當(dāng)你需要分析大量的數(shù)據(jù)時，Hadoop允許你通過數(shù)千個節(jié)點(diǎn)并行計算，這一點(diǎn)上其潛力很大。但是，并非所有的分析工作可以很容易地進(jìn)行并行處理，尤其是需要當(dāng)用戶交互驅(qū)動的分析?！? 所以要想性能很好，你仍然需要專門為自己要解決的問題而設(shè)計和優(yōu)化相應(yīng)的Hadoop程序，否則會很慢?！耙驗槊總€Map/Reduce 任務(wù)都要等到之前的工作完成?！彼跃拖耜P(guān)鍵路徑一樣，Hadoop執(zhí)行性能的快慢會取決于其最慢的MapReduce任務(wù)。

Joe最后認(rèn)為：“Hadoop是一個用來做一些非常復(fù)雜的數(shù)據(jù)分析的杰出工具。但是具有諷刺意味的是，它也是需要大量的編程工作才能得到這些問題的答案?！? 這一點(diǎn)不止在數(shù)據(jù)分析應(yīng)用方面，它其實反映了目前使用開源框架時候不得不面對的選型平衡問題。當(dāng)你在選型開源框架或代碼的時候，既要考慮清楚它能夠幫到你多少，節(jié)省多少時間和成本，提高多少效率。也要知道由此而產(chǎn)生多少新增的成本，比如工程師的學(xué)習(xí)成本、開發(fā)和維護(hù)成本，以及未來的擴(kuò)展性，包括如果使用的框架升級了，你和你的團(tuán)隊是否要做相應(yīng)的升級；甚至還要有安全性方面的考慮，畢竟開源框架的漏洞也是眾所周知的。