2020-07-09
閱讀量:
1243
Flink程序與數(shù)據(jù)流(DataFlow)
所有的Flink程序都是由三部分組成的: Source 、Transformation和Sink。
Source負(fù)責(zé)讀取數(shù)據(jù)源,Transformation利用各種算子進(jìn)行處理加工,Sink負(fù)責(zé)輸出。
在運(yùn)行時(shí),F(xiàn)link上運(yùn)行的程序會(huì)被映射成“邏輯數(shù)據(jù)流”(dataflows),它包含了這三部分。每一個(gè)dataflow以一個(gè)或多個(gè)sources開始以一個(gè)或多個(gè)sinks結(jié)束。dataflow類似于任意的有向無環(huán)圖(DAG)。在大部分情況下,程序中的轉(zhuǎn)換運(yùn)算(transformations)跟dataflow中的算子(operator)是一一對(duì)應(yīng)的關(guān)系,但有時(shí)候,一個(gè)transformation可能對(duì)應(yīng)多個(gè)operator。






評(píng)論(0)


暫無數(shù)據(jù)
CDA考試動(dòng)態(tài)
CDA報(bào)考指南
推薦帖子
0條評(píng)論
1條評(píng)論
0條評(píng)論
0條評(píng)論