2019-01-28
閱讀量:
834
HDFS的寫數(shù)據(jù)流程是啥?
HDFS的寫數(shù)據(jù)流程是啥?
答:HDFS寫數(shù)據(jù)的流程如下:
1)客戶端向namenode請求上傳文件,namenode檢查目標(biāo)文件是否已存在,父目錄是否存在。
2)namenode返回是否可以上傳。
3)客戶端請求第一個 block上傳到哪幾個datanode服務(wù)器上。
4)namenode返回3個datanode節(jié)點(diǎn),分別為dn1、dn2、dn3。
5)客戶端請求dn1上傳數(shù)據(jù),dn1收到請求會繼續(xù)調(diào)用dn2,然后dn2調(diào)用dn3,將這個通信管道建立完成
6)dn1、dn2、dn3逐級應(yīng)答客戶端
7)客戶端開始往dn1上傳第一個block(先從磁盤讀取數(shù)據(jù)放到一個本地內(nèi)存緩存),以packet為單位,dn1收到一個packet就會傳給dn2,dn2傳給dn3;dn1每傳一個packet會放入一個應(yīng)答隊列等待應(yīng)答
8)當(dāng)一個block傳輸完成之后,客戶端再次請求namenode上傳第二個block的服務(wù)器。(重復(fù)執(zhí)行3-7步)






評論(0)


暫無數(shù)據(jù)
推薦帖子
0條評論
1條評論
0條評論
0條評論