就目前而言，不管是系統(tǒng)中的歷史數(shù)據(jù)，還是持續(xù)不斷接入系統(tǒng)中的實(shí)時數(shù)據(jù)，只要數(shù)據(jù)是可訪問的，我們就能夠處理這些數(shù)據(jù)。按照處理的數(shù)據(jù)形式和得到結(jié)果的時效性進(jìn)行分類，數(shù)據(jù)處理框架就可以分為兩類：批處理系統(tǒng)和流處理系統(tǒng)。

數(shù)據(jù)處理框架中的批處理就是一種用來計(jì)算大規(guī)模數(shù)據(jù)集的方法。批處理的過程包括將任務(wù)分解為較小的任務(wù)，分別在每個計(jì)算機(jī)上進(jìn)行計(jì)算運(yùn)行，根據(jù)數(shù)據(jù)分析的結(jié)果對數(shù)據(jù)的重新組合，然后通過計(jì)算機(jī)的計(jì)算出組合數(shù)據(jù)的最終結(jié)果。當(dāng)處理非常巨大的數(shù)據(jù)集時，批處理系統(tǒng)是最有效的。而流處理就是對由連續(xù)不斷的單條數(shù)據(jù)項(xiàng)組成的數(shù)據(jù)流進(jìn)行計(jì)算，注重?cái)?shù)據(jù)處理結(jié)果的時效性。

一、批處理系統(tǒng)

批處理系統(tǒng)在大數(shù)據(jù)中有很長的歷史。批處理系統(tǒng)主要操作大量靜態(tài)的數(shù)據(jù)，并且等到全部處理完成后才能得到返回的結(jié)果。批處理系統(tǒng)中的數(shù)據(jù)集一般符合以下特征：

1、有限： 數(shù)據(jù)集中的數(shù)據(jù)必須是有限的。

2、持久： 批處理系統(tǒng)處理的數(shù)據(jù)一般存儲在某個儲存器上。

3、海量： 一般來說只有海量的數(shù)據(jù)才能用批處理系統(tǒng)進(jìn)行分析，并且海量的數(shù)據(jù)通常只能使用批處理系統(tǒng)來處理。

由于批處理系統(tǒng)在處理海量的持久數(shù)據(jù)方面表現(xiàn)出色，而歷史數(shù)據(jù)的數(shù)量是很多的，所以它通常被用來處理歷史數(shù)據(jù)，但是由于海量數(shù)據(jù)的處理需要耗費(fèi)很多時間，所以批處理系統(tǒng)一般不用于即時性場景需求以及對延時要求較高的場景。 

二、流處理系統(tǒng)

批處理系統(tǒng)好理解，那什么是流處理系統(tǒng)呢？流處理系統(tǒng)與批處理系統(tǒng)所處理的數(shù)據(jù)不同之處在于，流處理系統(tǒng)并不是針對已經(jīng)存在的數(shù)據(jù)集進(jìn)行操作，而是處理對從外部系統(tǒng)接入的的數(shù)據(jù)。流處理系統(tǒng)一般分為兩種：

1、逐項(xiàng)處理： 每次處理一條數(shù)據(jù)，是真正意義上的流處理。

2、微批處理： 這種處理方式把一小段時間內(nèi)的數(shù)據(jù)當(dāng)作一個微批次，對這個微批次內(nèi)的數(shù)據(jù)進(jìn)行處理。

不論是哪種處理方式，其實(shí)時性都要遠(yuǎn)遠(yuǎn)好于批處理系統(tǒng)。因此，流處理系統(tǒng)非常適合應(yīng)用于對實(shí)時性要求較高的場景，由于很多情況下，我們想要盡快看到計(jì)算結(jié)果，所以近些年流處理系統(tǒng)的應(yīng)用越來越廣泛。

相信大家看了這篇文章以后已經(jīng)知道了數(shù)據(jù)處理框架上面的相關(guān)情況了吧，一般來說，數(shù)據(jù)的處理里不來批處理和流處理，批處理適用于歷史數(shù)據(jù)的分析，而流處理適用于即時數(shù)據(jù)的分析，兩者都有各自的優(yōu)缺點(diǎn)。希望本文能夠幫到大家。