搭建Spark服務器環境

一、spark服務器環境：
1.配置java環境；
2.下載spark包和對應版本的hadoop包；
3.進入spark安裝目錄，在conf目錄下spark-env.sh文件的最後加入環境變量：

LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

4.執行sbin/start-master.sh和sbin/start-slave.sh spark://hostname:7077

啓動spark並檢查是否有錯誤和警告日誌；

訪問master：http://ip:8080

5.提交python作業：

bin/spark-submit wordcount.py

6.提交jar作業：

bin/spark-submit --class com.test.spark.SparkTest --num-executors 3 --driver-memory 512M --executor-memory 512M --executor-cores 1 --master spark://hostname:7077 /home/guest/bigdata/spark-2.3.0-bin-hadoop2.7/test.jar