spark內核解析——spark 腳本解析

更好的理解spark——spark 腳本解析

在學習spark的時候，我們一個start-all.sh就將spark集羣成功啓動，有沒有仔細看過這裏面的細節呢？今天來總結一下spark啓動腳本的流程

1. 集羣啓動腳本：start-all.sh
   
2. spark-config.sh 的作用主要就是初始化兩個環境變量
   
3. spark-master.sh 的作用是初始化變量，啓動master進程
   
   調用spark-daemon.sh腳本啓動master進程（spark-daemon.sh start org.apache.spark.deploy.master.Master 1 --host $SPARK_MASTER_HOST --port $SPARK_MASTER_PORT --webui-port $SPARK_MASTER_WEBUI_PORT $ORIGINAL_ARGS）
4. spark-slave.sh 的作用是初始化變量，啓動master進程
   
5. 最後看下 bin/spark-submit 做什麼什麼工作
   

總結：通過上面的腳本啓動，我們大致知道了一個start-all.sh的腳本都做了些什麼工作，同時，也找到了master、worker、spark-submit的主啓動類，這樣也對理解spark整體的流程有了一定的認識