Spark 實踐 - 客戶端使用spark-submit提交Spark應用程序及注意事項

一、客戶端提交spark應用程序

        是指在spark集羣之外的機器，提交spark應用程序到spark集羣運行。

二、spark-submit提交程序語法

        使用spark-submit工具提交Spark應用程序的語法：

./bin/spark-submit \

  --class <main-class> \

  --master <master-url> \

  --deploy-mode <deploy-mode> \

  --conf <key>=<value> \

  ... # other options

  <application-jar> \

  [application-arguments]

--class 應用程序的入口類名；

--master spark 集羣的url；

--deploy-mode 部署方式；

--conf 應用程序的sparkContext配置選項；

--application-jar 外部依賴；

--application-arguments 應用程序參數； 

三、在客戶端使用spark-submit提交spark應用程序時需要注意的事項

        1）、客戶端機器與spark集羣必須互相知道，即相互ping得通；

        2）、如果應用程序中用到了本地文件，那麼集羣中的worker機器都必須有該文件，否則會報找不到文件；

        3）、windows客戶端，如果應用程序中用到本地文件，那麼無法提交到linux環境下的spark集羣；