對互聯(lián)網(wǎng)海量數(shù)據(jù)實時計算的理解

實時計算的概念

互聯(lián)網(wǎng)領(lǐng)域的實時計算一般都是針對海量數(shù)據(jù)進行的，除了像非實時計算的需求（如計算結(jié)果準(zhǔn)確）以外，實時計算最重要的一個需求是能夠?qū)崟r響應(yīng)計算結(jié)果，一般要求為秒級。個人理解，互聯(lián)網(wǎng)行業(yè)的實時計算可以分為以下兩種應(yīng)用場景：

1） 數(shù)據(jù)源是實時的不間斷的，要求對用戶的響應(yīng)時間也是實時的。

主要用于互聯(lián)網(wǎng)流式數(shù)據(jù)處理。所謂流式數(shù)據(jù)是指將數(shù)據(jù)看作是數(shù)據(jù)流的形式來處理。數(shù)據(jù)流則是在時間分布和數(shù)量上無限的一系列數(shù)據(jù)記錄的集合體；數(shù)據(jù)記錄是數(shù)據(jù)流的最小組成單元。舉個例子，對于大型網(wǎng)站，活躍的流式數(shù)據(jù)非常常見，這些數(shù)據(jù)包括網(wǎng)站的訪問PV/UV、用戶訪問了什么內(nèi)容，搜索了什么內(nèi)容等。實時的數(shù)據(jù)計算和分析可以動態(tài)實時地刷新用戶訪問數(shù)據(jù)，展示網(wǎng)站實時流量的變化情況，分析每天各小時的流量和用戶分布情況，這對于大型網(wǎng)站來說具有重要的實際意義。

2） 數(shù)據(jù)量大且無法或沒必要預(yù)算，但要求對用戶的響應(yīng)時間是實時的。

主要用于特定場合下的數(shù)據(jù)分析處理。當(dāng)數(shù)據(jù)量很大，同時發(fā)現(xiàn)無法窮舉所有可能條件的查詢組合或者大量窮舉出來的條件組合無用的時候，實時計算就可以發(fā)揮作用，將計算過程推遲到查詢階段進行，但需要為用戶提供實時響應(yīng)[參考鏈接]。

實時計算相關(guān)技術(shù)

互聯(lián)網(wǎng)上海量數(shù)據(jù)（一般為日志流）的實時計算過程可以被劃分為以下三個階段：數(shù)據(jù)的產(chǎn)生與收集階段、傳輸與分析處理階段、存儲對對外提供服務(wù)階段。下面分別進行簡單的介紹：

2.1 數(shù)據(jù)實時采集

需求：功能上保證可以完整的收集到所有日志數(shù)據(jù)，為實時應(yīng)用提供實時數(shù)據(jù)；響應(yīng)時間上要保證實時性、低延遲在1秒左右；配置簡單，部署容易；系統(tǒng)穩(wěn)定可靠等。

目前，互聯(lián)網(wǎng)企業(yè)的海量數(shù)據(jù)采集工具，有Facebook開源的Scribe、LinkedIn開源的Kafka、Cloudera開源的Flume，淘寶開源的TimeTunnel、Hadoop的Chukwa等，均可以滿足每秒數(shù)百MB的日志數(shù)據(jù)采集和傳輸需求。

2.2 數(shù)據(jù)實時計算

傳統(tǒng)的數(shù)據(jù)操作，首先將數(shù)據(jù)采集并存儲在DBMS中，然后通過query和DBMS進行交互，得到用戶想要的答案。整個過程中，用戶是主動的，而DBMS系統(tǒng)是被動的。

但是，對于現(xiàn)在大量存在的實時數(shù)據(jù)，比如股票交易的數(shù)據(jù)，這類數(shù)據(jù)實時性強，數(shù)據(jù)量大，沒有止境，傳統(tǒng)的架構(gòu)并不合適。流計算就是專門針對這種數(shù)據(jù)類型準(zhǔn)備的。在流數(shù)據(jù)不斷變化的運動過程中實時地進行分析，捕捉到可能對用戶有用的信息，并把結(jié)果發(fā)送出去。整個過程中，數(shù)據(jù)分析處理系統(tǒng)是主動的，而用戶卻是處于被動接收的狀態(tài)。

需求：適應(yīng)流式數(shù)據(jù)、不間斷查詢；系統(tǒng)穩(wěn)定可靠、可擴展性好、可維護性好等。

實時流計算框架：Yahoo開源的S4、Twitter開源的Storm，還有Esper，Streambase，HStreaming等。

有關(guān)計算的一些注意點：分布式計算，并行計算（節(jié)點間的并行、節(jié)點內(nèi)的并行），熱點數(shù)據(jù)的緩存策略，服務(wù)端計算。

備注：

這里我覺得還可以加一些Shark、Spark、tachyon之類簡介了，這些框架就相當(dāng)于把Hadoop全部搬到內(nèi)存了，在數(shù)據(jù)量不是特別大但是又要分析快速的情況i型啊，也可以考慮哦。相當(dāng)快的，幾乎可以準(zhǔn)實時，雖說還是批處理的手段，但是夠用就好。
2.3 實時查詢服務(wù)

全內(nèi)存：直接提供數(shù)據(jù)讀取服務(wù)，定期dump到磁盤或數(shù)據(jù)庫進行持久化。

半內(nèi)存：使用Redis、Memcache、MongoDB、BerkeleyDB等內(nèi)存數(shù)據(jù)庫提供數(shù)據(jù)實時查詢服務(wù)，由這些系統(tǒng)進行持久化操作。

全磁盤：使用HBase等以分布式文件系統(tǒng)（HDFS）為基礎(chǔ)的NoSQL數(shù)據(jù)庫，對于key-value引擎，關(guān)鍵是設(shè)計好key的分布。

應(yīng)用舉例

對于電子商務(wù)網(wǎng)站上的店鋪：

1）實時展示一個店鋪的到訪顧客流水信息，包括訪問時間、訪客姓名、訪客地理位置、訪客IP、訪客正在訪問的頁面等信息；

2）顯示某個到訪顧客的所有歷史來訪記錄，同時實時跟蹤顯示某個訪客在一個店鋪正在訪問的頁面等信息；

3）支持根據(jù)訪客地理位置、訪問頁面、訪問時間等多種維度下的實時查詢與分析。

更詳細的內(nèi)容，以后再進一步展開介紹。

總結(jié)的話

1）并不是任何應(yīng)用都做到實時計算才是最好的。

2）使用哪些技術(shù)和框架來搭建實時計算系統(tǒng)，需要根據(jù)實際業(yè)務(wù)需求進行選擇。

3）對于分布式系統(tǒng)來說，系統(tǒng)的可配置性、可維護性、可擴展性十分重要，系統(tǒng)調(diào)優(yōu)永無止境。