當(dāng)你學(xué)會(huì)抄菜的時(shí)候，你就學(xué)會(huì)了大數(shù)據(jù)

最近在學(xué)習(xí)數(shù)倉跟BI，突然發(fā)現(xiàn)，結(jié)合自己所學(xué)會(huì)抄的菜。試著把學(xué)過的大數(shù)據(jù)重新理解一番，希望各位都能來一起討論，共同進(jìn)步。
走進(jìn)廚房
  走進(jìn)廚房后，相信大家會(huì)看到各種鍋碗瓢盆，案板，切菜刀，調(diào)料，櫥柜，水池...........而這些就相當(dāng)于是大數(shù)據(jù)的架構(gòu)。
  其中櫥柜，相當(dāng)于是Hadoop。櫥柜可以儲(chǔ)存各種食材，而Hadoop可以存儲(chǔ)各種不同類的數(shù)據(jù)（結(jié)構(gòu)化與非結(jié)構(gòu)化）。而櫥柜可以存放不同食材，比如不規(guī)整的豆腐塊，大冬瓜，土豆....還有一些規(guī)整的食材，比如大米，小米，綠豆........規(guī)整的食材與不規(guī)整的食材的區(qū)別，各家有各家不同的規(guī)定，而一般的規(guī)定就是規(guī)格的食材要用袋子把它們裝起來。這里就相當(dāng)于是大數(shù)據(jù)里的數(shù)據(jù)整理流程。而這些半規(guī)整的食材要放到一個(gè)個(gè)小袋子里，比如說，淀粉,姜粉，蒜泥.....用袋子或者盒子把它們裝好，放在相應(yīng)櫥柜的地方，就相當(dāng)于我們大數(shù)據(jù)里說的ETL（抽取，封裝，加載），以備后用。
  而不同廠家的櫥柜又會(huì)有不同的格子劃分及存儲(chǔ)區(qū)，比如：歐派，宜家的櫥柜就會(huì)劃分出很多小的分區(qū)來裝不同的東西。而這一塊就相當(dāng)于HBase,灶臺(tái)下邊有專門用于涼碗的，還有抽油煙機(jī)旁邊專門用于放刀具的區(qū)域，還有專門用于放各種鍋的區(qū)域。而當(dāng)HBase劃分的好的時(shí)候，就對(duì)上層的MapReduce有很大的幫助，因?yàn)槟愀鱾€(gè)區(qū)域規(guī)劃的越好，當(dāng)你開始抄菜的時(shí)候，取用各種餐具的時(shí)候就會(huì)更加的得心用手。
  至于上邊的Mahout,Pig,Hive就相當(dāng)于你如何在櫥柜中找到你相應(yīng)的食材的過程，比如說，你要抄西紅柿雞蛋，你要找雞蛋跟西紅柿...........再往上走就是一個(gè)對(duì)廚房的整體管理了。你做過的哪些菜，或者你想按照某個(gè)食譜來做菜，你就要有一個(gè)本子寫上你每次做菜的步驟，這個(gè)就相當(dāng)于是FlumeL,而Sqoop就相當(dāng)于蘿卜擦，你想吃蘿卜絲，你就要用工具把蘿卜切成絲才可以，這里，用刀具可以，用蘿卜擦?xí)咝А?br />   再來說說Zookeeper吧！它就相當(dāng)于把你經(jīng)常用的幾項(xiàng)工具放到離你做菜最近的一個(gè)櫥柜中。方便管理這些工具。
  好了，說完了Hadoop,再來說一說Spark.它跟櫥柜的唯一不同就是：櫥柜是給你全部安裝固定好了的，而Spark這種櫥柜是可以移動(dòng)的櫥柜，同時(shí)對(duì)于你經(jīng)常用的工具，可以進(jìn)行優(yōu)先排序。讓你更快的對(duì)食材進(jìn)行加工。剛開始，你做完一道菜，要半個(gè)小時(shí)多，而當(dāng)你熟練之后，加之Spark移動(dòng)櫥柜+優(yōu)先推送食材（內(nèi)存計(jì)算+可迭代算法），你可以在5分鐘內(nèi)就做完這道菜。
加工食材
  實(shí)際上，我們食材的儲(chǔ)存過程就相當(dāng)于是一個(gè)數(shù)倉的建立過程，而在一個(gè)數(shù)倉的建立過程中。最重要的莫過于區(qū)分不同維度。比如在大數(shù)據(jù)里的Key+Value,Big list,實(shí)際上都是提供一種基于可擴(kuò)展的列值存儲(chǔ)。而在數(shù)據(jù)可視化中，數(shù)據(jù)多維分維里，也是強(qiáng)調(diào)數(shù)據(jù)的不同維度的區(qū)分。這里我們就以食材的區(qū)分為例來說明。
  首先，廚房里的食材維度可以大致分析：蔬菜維度，禽肉維度，米面維度............不同的維度決定了你對(duì)食物的理解程度，比如：你可以把糯米放在米面維度，也可以放在糕點(diǎn)維度。所以數(shù)據(jù)的不同維度也取決于你對(duì)食材的功能及使用場(chǎng)景。再比如：把你香茹切的很小，曬干，然后碾成粉，要這些香茹粉就會(huì)從蔬菜維度進(jìn)入到調(diào)料維度。
  當(dāng)我們明白了食材維度的這個(gè)概念之后，我們就要開始我們的加工了。是先抄，還是先炸，還是先熱水湯一下，都是對(duì)食材的一種加工。這里就相當(dāng)于對(duì)初始數(shù)據(jù)進(jìn)行相應(yīng)的整形。由于要用到不同的廚具，就涉及到前邊講的走進(jìn)廚房的細(xì)節(jié)的。在大數(shù)據(jù)里，可以用不同的組件對(duì)原始數(shù)據(jù)進(jìn)行處理。而在廚房，可以用不同的廚具對(duì)食材進(jìn)行處理。比如：蒸饅頭，可以用抄鍋來蒸，同時(shí)可以用鋼精鍋來蒸。雖然都能達(dá)到能吃的地步。但是所用的時(shí)間及口感不同。這些也就相當(dāng)于大數(shù)據(jù)里各種不同組件之間的動(dòng)行效果。
  最后，先感謝下我現(xiàn)在的公司，每個(gè)月不定期給我們發(fā)菜，同時(shí)也感謝下老婆，教會(huì)了我抄各種菜。最后，附一張我抄好的菜吧（先給它起一個(gè)響亮的名字：亂棍打死豬八戒！undefined ）！