提交命令

./spark-submit  --master spark://node01:7077  --deploy-mode cluster --class org.apache.spark.examples.SparkPi  ../lib/spark-examples-1.6.0-hadoop2.6.0.jar100

執(zhí)行流程
- 1.cluster模式提交應(yīng)用程序后，會(huì)向Master請求啟動(dòng)Driver.(而不是啟動(dòng)application)
- 2.Master接受請求，隨機(jī)在集群一臺(tái)節(jié)點(diǎn)啟動(dòng)Driver進(jìn)程。
- 3.Driver啟動(dòng)后為當(dāng)前的應(yīng)用程序申請資源。Master返回資源，并在對應(yīng)的worker節(jié)點(diǎn)上發(fā)送消息啟動(dòng)Worker中的executor進(jìn)程。
- 4.Driver端發(fā)送task到worker節(jié)點(diǎn)上執(zhí)行。
- 5.worker將執(zhí)行情況和執(zhí)行結(jié)果返回給Driver端。Driver監(jiān)控task任務(wù)，并回收結(jié)果。

總結(jié)
- 1.當(dāng)在客戶端提交多個(gè)application時(shí)，Driver會(huì)在Woker節(jié)點(diǎn)上隨機(jī)啟動(dòng)，這種模式會(huì)將單節(jié)點(diǎn)的網(wǎng)卡流量激增問題分散到集群中。在客戶端看不到task執(zhí)行情況和結(jié)果。要去webui中看。
- 2.cluster模式適用于生產(chǎn)環(huán)境
- 3.Master模式先啟動(dòng)Driver，再啟動(dòng)Application。