大數(shù)據(jù)流式計算場景特征的解讀

云計算、物聯(lián)網(wǎng)等新興信息技術(shù)和應(yīng)用模式的快速發(fā)展，推動人類社會邁入大數(shù)據(jù)新時代。一般意義上，大數(shù)據(jù)是指利用現(xiàn)有理論、方法、技術(shù)和工具難以在可接受的時間內(nèi)完成分析計算、整體呈現(xiàn)高價值的海量復(fù)雜數(shù)據(jù)集合。

大數(shù)據(jù)蘊含大信息，大信息提煉大知識，大知識將在更高的層面、以更廣的視角、在更大的范圍內(nèi)幫助用戶提高洞察力、提升決策力，為人類社會創(chuàng)造前所未有的大 價值。但與此同時，這些總量極大的價值往往隱藏在大數(shù)據(jù)中，表現(xiàn)出了價值密度極低、分布極其不規(guī)律、信息隱藏程度極深、發(fā)現(xiàn)有用價值極其困難等鮮明特性， 這些特征必然為大數(shù)據(jù)的計算帶來前所未有的挑戰(zhàn)和機遇。

大數(shù)據(jù)的計算模式主要分為批量計算(batch computing)、流式計算(stream computing)、交互計算(interactive computing)、圖計算(graph computing)等。其中，流式計算和批量計算是兩種主要的大數(shù)據(jù)計算模式，分別適用于不同的大數(shù)據(jù)應(yīng)用場景。對于先存儲后計算，實時性要求不高，同 時數(shù)據(jù)的準(zhǔn)確性、全面性更為重要的應(yīng)用場景，批量計算更加適合;對于無需先存儲，可以直接進行數(shù)據(jù)計算，實時性要求很嚴(yán)格，但數(shù)據(jù)的精確度往往不太苛刻的 應(yīng)用場景，流式計算具有明顯優(yōu)勢。

流式計算中，數(shù)據(jù)往往是最近一個時間窗口內(nèi)的增量數(shù)據(jù)，因此數(shù)據(jù)時延往往較短，實時性較強，但數(shù)據(jù)的信息量往往相對較少，只限于一個時間窗口內(nèi)的信息，不 具有全量信息。流式計算和批量計算具有明顯的優(yōu)劣互補特征，在多種應(yīng)用場合下可以將兩者結(jié)合起來使用，通過發(fā)揮流式計算的實時性優(yōu)勢和批量計算的計算精度 優(yōu)勢，滿足多種應(yīng)用場景在不同階段的數(shù)據(jù)計算要求。

通常情況下，大數(shù)據(jù)流式計算場景具有以下鮮明特征：

在流式計算環(huán)境中，數(shù)據(jù)是以元組為單位，以連續(xù)數(shù)據(jù)流的形態(tài)，持續(xù)地到達大數(shù)據(jù)流式計算平臺。數(shù)據(jù)并不是一次全部可用，不能夠一次得到全量數(shù)據(jù)，只能在不同的時間點，以增量的方式，逐步得到相應(yīng)數(shù)據(jù)。

數(shù)據(jù)源往往是多個，在進行數(shù)據(jù)流重放的過程中，數(shù)據(jù)流中各個元組間的相對順序是不能控制的。也就是說，在數(shù)據(jù)流重放過程中，得到完全相同的數(shù)據(jù)流(相同的數(shù)據(jù)元組和相同的元組順序)是很困難的，甚至是不可能的。

數(shù)據(jù)流的流速是高速的，且隨著時間在不斷動態(tài)變化。這種變化主要體現(xiàn)在兩個方面，一個方面是數(shù)據(jù)流流速大小在不同時間點的變化，這就需要系統(tǒng)可以彈性、動 態(tài)地適應(yīng)數(shù)據(jù)流的變化，實現(xiàn)系統(tǒng)中資源、能耗的高效利用;另一方面是數(shù)據(jù)流中各個元組內(nèi)容(語義)在不同時間點的變化，即概念漂移，這就需要處理數(shù)據(jù)流的 有向任務(wù)圖可以及時識別、動態(tài)更新和有效適應(yīng)這種語義層面上的變化。

實時分析和處理數(shù)據(jù)流是至關(guān)重要的，在數(shù)據(jù)流中，其生命周期的時效性往往很短，數(shù)據(jù)的時間價值也更加重要。所有數(shù)據(jù)流到來后，均需要實時處理，并實時產(chǎn)生 相應(yīng)結(jié)果，進行反饋，所有的數(shù)據(jù)元組也僅會被處理一次。雖然部分?jǐn)?shù)據(jù)可能以批量的形式被存儲下來，但也只是為了滿足后續(xù)其他場景下的應(yīng)用需求。

數(shù)據(jù)流是無窮無盡的，只要有數(shù)據(jù)源在不斷產(chǎn)生數(shù)據(jù)，數(shù)據(jù)流就會持續(xù)不斷地到來。這也就需要流式計算系統(tǒng)永遠在線運行，時刻準(zhǔn)備接收和處理到來的數(shù)據(jù)流。在線運行是流式計算系統(tǒng)的一個常態(tài)，一旦系統(tǒng)上線后，所有對該系統(tǒng)的調(diào)整和優(yōu)化也將在在線環(huán)境中開展和完成。

多個不同應(yīng)用會通過各自的有向任務(wù)圖進行表示，并將被部署在一個大數(shù)據(jù)計算平臺中，如圖1所示，這就需要整個計算平臺可以有效地為各個有向任務(wù)圖分配合理 資源，并保證滿足用戶服務(wù)級目標(biāo)。同時各個資源間需要公平地競爭資源、合理地共享資源，特別是要滿足不同時間點各應(yīng)用間系統(tǒng)資源的公平使用。

在大數(shù)據(jù)時代，數(shù)據(jù)的時效性日益突出，數(shù)據(jù)的流式特征更加明顯，越來越多的應(yīng)用場景需要部署在流式計算平臺中。大數(shù)據(jù)流式計算作為大數(shù)據(jù)計算的一種形態(tài)，其重要性也在不斷提升。