storm的基礎(chǔ)介紹_數(shù)據(jù)分析_大數(shù)據(jù)

一、簡要介紹
       對(duì)于大數(shù)據(jù)的處理，在離線方面，Hadoop很完美地解決了，對(duì)于實(shí)時(shí)數(shù)據(jù)的處理則無能為力。
       Storm是一個(gè)開源的分布式實(shí)時(shí)計(jì)算系統(tǒng)，可以簡單、可靠地處理大量的數(shù)據(jù)流。
       Storm有很多使用場景，如實(shí)時(shí)分析、在線機(jī)器學(xué)習(xí)、持續(xù)計(jì)算、分布式RPC、ETL等。
       Storm支持水平擴(kuò)展，具有高容錯(cuò)性，保證每個(gè)消息都會(huì)得到處理，而且處理速度很快（在一個(gè)小集群中，每個(gè)節(jié)點(diǎn)每秒可以處理數(shù)以百萬計(jì)的消息）。
       Storm的部署和運(yùn)維都很便捷，而且更為重要的是可以使用任意編程語言來開發(fā)應(yīng)用。

二、系統(tǒng)特性
1、編程模型簡單
       Storm為大數(shù)據(jù)的實(shí)時(shí)計(jì)算提供了一些簡單優(yōu)美的原語，這大大降低了開發(fā)并行實(shí)時(shí)處理任務(wù)的復(fù)雜性，幫助你快速、高效的開發(fā)應(yīng)用。
2、可擴(kuò)展
       在Storm集群中真正運(yùn)行Topology的主要有三個(gè)實(shí)體：工作進(jìn)程、線程和任務(wù)。
       Storm集群中的每臺(tái)機(jī)器上都可以運(yùn)行多個(gè)工作進(jìn)程，每個(gè)工作進(jìn)程又可創(chuàng)建多個(gè)線程，每個(gè)線程可以執(zhí)行多個(gè)任務(wù)，任務(wù)是真正進(jìn)行數(shù)據(jù)處理的實(shí)體，Spout、Bolt被開發(fā)出來就是作為一個(gè)或者多個(gè)任務(wù)的方式執(zhí)行的。
3、高可靠性
       Storm可以保證Spout發(fā)出的每條消息都能被“完全處理”，Spout發(fā)出的消息后續(xù)可能會(huì)觸發(fā)產(chǎn)生成千上萬條消息，可以形象地理解為一棵消息樹，其中Spout發(fā)出的消息為樹根，Storm會(huì)跟蹤這個(gè)消息樹的處理情況，只有這棵樹中的所有消息被處理了才認(rèn)為“完全處理”了，否則Spout會(huì)重發(fā)消息。
4、高容錯(cuò)性
       如果在消息處理過程中出現(xiàn)了一些異常，Storm會(huì)重新部署這個(gè)出問題的處理單元。Storm保證一個(gè)處理單元永遠(yuǎn)運(yùn)行（除非你顯示的結(jié)束這個(gè)處理單元）。
5、支持多種編程語言
       除了用Java實(shí)現(xiàn)Spout和Bolt，你還可以使用任何你熟悉的編程語言來完成這項(xiàng)工作，這一切得益于Storm所謂的多語言協(xié)議。
       多語言協(xié)議是Storm內(nèi)部的一種特殊協(xié)議，允許Spout或者Bolt使用標(biāo)準(zhǔn)輸入和標(biāo)準(zhǔn)輸出來進(jìn)行消息傳遞，傳遞的消息為單行文本或者JSON編碼的多行。
6、支持本地模式
       Storm有一種“本地模式”，也就是在進(jìn)程中模擬一個(gè)Storm集群的所有功能，以本地模式運(yùn)行Topology跟在集群上運(yùn)行Topology類似，這對(duì)于我們開發(fā)和測試來說非常有用。
7、高效
       用ZeroMQ作為底層消息隊(duì)列，保證消息能快速被處理。
8、運(yùn)維和部署簡單
       Storm計(jì)算任務(wù)是以“拓?fù)洹睘榛締挝坏?，每個(gè)拓?fù)渫瓿商囟ǖ臉I(yè)務(wù)指標(biāo)，拓?fù)渲械拿總€(gè)邏輯業(yè)務(wù)節(jié)點(diǎn)實(shí)現(xiàn)特定的邏輯，并通過消息相互協(xié)作。
       實(shí)際部署時(shí)，僅需要根據(jù)情況配置邏輯節(jié)點(diǎn)的并發(fā)數(shù)，而不需要關(guān)心部署到集群中的哪臺(tái)機(jī)器，Storm支持動(dòng)態(tài)增加節(jié)點(diǎn)但不會(huì)自動(dòng)負(fù)載均衡。
9、圖形化監(jiān)控
       圖形界面，可以監(jiān)控各個(gè)拓?fù)涞男畔?，包括每個(gè)處理單元的狀態(tài)和處理消息的數(shù)量。

三、類似系統(tǒng)
       這里主要將Yahoo!S4和IBM InfoSphere Streams與Storm進(jìn)行對(duì)比。
1、Yahoo!S4
      （1）系統(tǒng)模型：通過把任務(wù)分解為盡可能小的處理單元，各處理單元之間形成流水線，從而提高并發(fā)度和吞吐量，處理單元的粒度由開發(fā)者自行把握，這點(diǎn)與Storm相似，不同的是S4內(nèi)置的處理單元PE還可以處理count、join和aggregate等常見任務(wù)需求。
      （2）開發(fā)：S4使用Java開發(fā)，模塊高度可定制化。
      （3）通信協(xié)議：S4節(jié)點(diǎn)間通信采用POJOs（Plain Old Java Objects）模式，底層通信協(xié)議采用UDP。
      （4）高可用：S4集群中所有節(jié)點(diǎn)對(duì)等，無單點(diǎn)問題。
      （5）運(yùn)維與部署：S4不支持動(dòng)態(tài)部署和動(dòng)態(tài)增刪節(jié)點(diǎn)，這兩點(diǎn)Storm都支持。
2、IBM InfoSphere Streams
       （1）系統(tǒng)模型：通過把任務(wù)分解為盡可能小的處理單元，各處理單元之間形成流水線，從而提高并發(fā)度和吞吐量，各處理單元只能完成預(yù)定的操作（如：join、merge等），強(qiáng)制限制每個(gè)處理單元的粒度。
       （2）開發(fā)：定制的開發(fā)環(huán)境Eclipse-SPL(Steam Programming Language)。
       （3）高可用：與S4和Storm一樣支持故障轉(zhuǎn)移。
       （4）運(yùn)維與部署：部署半自動(dòng)化，支持動(dòng)態(tài)增加節(jié)點(diǎn)，且根據(jù)負(fù)載自動(dòng)均衡，這點(diǎn)Storm不支持。

四、應(yīng)用模式
1、海量數(shù)據(jù)處理
       Storm由于其高效、可靠、可擴(kuò)展、易部署、高容錯(cuò)及實(shí)時(shí)性高等特點(diǎn)，對(duì)于海量數(shù)據(jù)的實(shí)時(shí)處理非常合適。
       比如：統(tǒng)計(jì)網(wǎng)站的頁面瀏覽量（如：Page View即PV）指標(biāo)，Storm可以做到實(shí)時(shí)接收到點(diǎn)擊數(shù)據(jù)流，并實(shí)時(shí)計(jì)算出結(jié)果。
2、中間狀態(tài)存儲(chǔ)與查詢
       對(duì)于Storm實(shí)時(shí)計(jì)算出的中間結(jié)果，可以實(shí)時(shí)寫入MySQL或者HBase，以便于用戶查詢。
3、數(shù)據(jù)增量更新
       對(duì)于PV指標(biāo)的計(jì)算，如果直接實(shí)時(shí)修改HBase，則HBase壓力會(huì)很大。
       可以將數(shù)據(jù)在Storm內(nèi)計(jì)算短暫的一段時(shí)間后，增量地合并到HBase，以犧牲一定查詢結(jié)果的實(shí)時(shí)性換取HBase壓力的減輕。
4、結(jié)合概率算法實(shí)時(shí)計(jì)算復(fù)雜指標(biāo)
       Storm實(shí)時(shí)處理數(shù)據(jù)，相對(duì)離線處理而言需要大量內(nèi)存存儲(chǔ)中間狀態(tài)，為了減少內(nèi)存的消耗，可以根據(jù)業(yè)務(wù)特點(diǎn)（如：Unique Visitor即UV）采用概率算法近似計(jì)算結(jié)果。