剖析 大數(shù)據(jù)流式計(jì)算場(chǎng)景特征

云計(jì)算、物聯(lián)網(wǎng)等新興信息技術(shù)和應(yīng)用模式的快速發(fā)展，推動(dòng)人類(lèi)社會(huì)邁入大數(shù)據(jù)新時(shí)代。一般意義上，大數(shù)據(jù)是指利用現(xiàn)有理論、方法、技術(shù)和工具難以在可接受的時(shí)間內(nèi)完成分析計(jì)算、整體呈現(xiàn)高價(jià)值的海量復(fù)雜數(shù)據(jù)集合。

大數(shù)據(jù)蘊(yùn)含大信息，大信息提煉大知識(shí)，大知識(shí)將在更高的層面、以更廣的視角、在更大的范圍內(nèi)幫助用戶(hù)提高洞察力、提升決策力，為人類(lèi)社會(huì)創(chuàng)造前所未有的大 價(jià)值。但與此同時(shí)，這些總量極大的價(jià)值往往隱藏在大數(shù)據(jù)中，表現(xiàn)出了價(jià)值密度極低、分布極其不規(guī)律、信息隱藏程度極深、發(fā)現(xiàn)有用價(jià)值極其困難等鮮明特性， 這些特征必然為大數(shù)據(jù)的計(jì)算帶來(lái)前所未有的挑戰(zhàn)和機(jī)遇。

大數(shù)據(jù)的計(jì)算模式主要分為批量計(jì)算(batch computing)、流式計(jì)算(stream computing)、交互計(jì)算(interactive computing)、圖計(jì)算(graph computing)等。其中，流式計(jì)算和批量計(jì)算是兩種主要的大數(shù)據(jù)計(jì)算模式，分別適用于不同的大數(shù)據(jù)應(yīng)用場(chǎng)景。對(duì)于先存儲(chǔ)后計(jì)算，實(shí)時(shí)性要求不高，同 時(shí)數(shù)據(jù)的準(zhǔn)確性、全面性更為重要的應(yīng)用場(chǎng)景，批量計(jì)算更加適合;對(duì)于無(wú)需先存儲(chǔ)，可以直接進(jìn)行數(shù)據(jù)計(jì)算，實(shí)時(shí)性要求很?chē)?yán)格，但數(shù)據(jù)的精確度往往不太苛刻的 應(yīng)用場(chǎng)景，流式計(jì)算具有明顯優(yōu)勢(shì)。

流式計(jì)算中，數(shù)據(jù)往往是最近一個(gè)時(shí)間窗口內(nèi)的增量數(shù)據(jù)，因此數(shù)據(jù)時(shí)延往往較短，實(shí)時(shí)性較強(qiáng)，但數(shù)據(jù)的信息量往往相對(duì)較少，只限于一個(gè)時(shí)間窗口內(nèi)的信息，不 具有全量信息。流式計(jì)算和批量計(jì)算具有明顯的優(yōu)劣互補(bǔ)特征，在多種應(yīng)用場(chǎng)合下可以將兩者結(jié)合起來(lái)使用，通過(guò)發(fā)揮流式計(jì)算的實(shí)時(shí)性?xún)?yōu)勢(shì)和批量計(jì)算的計(jì)算精度 優(yōu)勢(shì)，滿(mǎn)足多種應(yīng)用場(chǎng)景在不同階段的數(shù)據(jù)計(jì)算要求。

通常情況下，大數(shù)據(jù)流式計(jì)算場(chǎng)景具有以下鮮明特征：

在流式計(jì)算環(huán)境中，數(shù)據(jù)是以元組為單位，以連續(xù)數(shù)據(jù)流的形態(tài)，持續(xù)地到達(dá)大數(shù)據(jù)流式計(jì)算平臺(tái)。數(shù)據(jù)并不是一次全部可用，不能夠一次得到全量數(shù)據(jù)，只能在不同的時(shí)間點(diǎn)，以增量的方式，逐步得到相應(yīng)數(shù)據(jù)。

數(shù)據(jù)源往往是多個(gè)，在進(jìn)行數(shù)據(jù)流重放的過(guò)程中，數(shù)據(jù)流中各個(gè)元組間的相對(duì)順序是不能控制的。也就是說(shuō)，在數(shù)據(jù)流重放過(guò)程中，得到完全相同的數(shù)據(jù)流(相同的數(shù)據(jù)元組和相同的元組順序)是很困難的，甚至是不可能的。

數(shù)據(jù)流的流速是高速的，且隨著時(shí)間在不斷動(dòng)態(tài)變化。這種變化主要體現(xiàn)在兩個(gè)方面，一個(gè)方面是數(shù)據(jù)流流速大小在不同時(shí)間點(diǎn)的變化，這就需要系統(tǒng)可以彈性、動(dòng) 態(tài)地適應(yīng)數(shù)據(jù)流的變化，實(shí)現(xiàn)系統(tǒng)中資源、能耗的高效利用;另一方面是數(shù)據(jù)流中各個(gè)元組內(nèi)容(語(yǔ)義)在不同時(shí)間點(diǎn)的變化，即概念漂移，這就需要處理數(shù)據(jù)流的 有向任務(wù)圖可以及時(shí)識(shí)別、動(dòng)態(tài)更新和有效適應(yīng)這種語(yǔ)義層面上的變化。

實(shí)時(shí)分析和處理數(shù)據(jù)流是至關(guān)重要的，在數(shù)據(jù)流中，其生命周期的時(shí)效性往往很短，數(shù)據(jù)的時(shí)間價(jià)值也更加重要。所有數(shù)據(jù)流到來(lái)后，均需要實(shí)時(shí)處理，并實(shí)時(shí)產(chǎn)生 相應(yīng)結(jié)果，進(jìn)行反饋，所有的數(shù)據(jù)元組也僅會(huì)被處理一次。雖然部分?jǐn)?shù)據(jù)可能以批量的形式被存儲(chǔ)下來(lái)，但也只是為了滿(mǎn)足后續(xù)其他場(chǎng)景下的應(yīng)用需求。

數(shù)據(jù)流是無(wú)窮無(wú)盡的，只要有數(shù)據(jù)源在不斷產(chǎn)生數(shù)據(jù)，數(shù)據(jù)流就會(huì)持續(xù)不斷地到來(lái)。這也就需要流式計(jì)算系統(tǒng)永遠(yuǎn)在線運(yùn)行，時(shí)刻準(zhǔn)備接收和處理到來(lái)的數(shù)據(jù)流。在線運(yùn)行是流式計(jì)算系統(tǒng)的一個(gè)常態(tài)，一旦系統(tǒng)上線后，所有對(duì)該系統(tǒng)的調(diào)整和優(yōu)化也將在在線環(huán)境中開(kāi)展和完成。

多個(gè)不同應(yīng)用會(huì)通過(guò)各自的有向任務(wù)圖進(jìn)行表示，并將被部署在一個(gè)大數(shù)據(jù)計(jì)算平臺(tái)中，如圖1所示，這就需要整個(gè)計(jì)算平臺(tái)可以有效地為各個(gè)有向任務(wù)圖分配合理 資源，并保證滿(mǎn)足用戶(hù)服務(wù)級(jí)目標(biāo)。同時(shí)各個(gè)資源間需要公平地競(jìng)爭(zhēng)資源、合理地共享資源，特別是要滿(mǎn)足不同時(shí)間點(diǎn)各應(yīng)用間系統(tǒng)資源的公平使用。

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)的時(shí)效性日益突出，數(shù)據(jù)的流式特征更加明顯，越來(lái)越多的應(yīng)用場(chǎng)景需要部署在流式計(jì)算平臺(tái)中。大數(shù)據(jù)流式計(jì)算作為大數(shù)據(jù)計(jì)算的一種形態(tài)，其重要性也在不斷提升。