Spark集羣安裝和部署(五)-----ubuntu16.0.4安裝Spark

Spark集羣安裝和部署(一)-----Ubuntu16.0.4創建hadoop用戶

Spark集羣安裝和部署(二)-----Ubuntu16.0.4安裝jdk8

Spark集羣安裝和部署(三)-----ubuntu16.0.4安裝hadoop

Spark集羣安裝和部署(四)-----ubuntu16.0.4安裝Scala

Spark集羣安裝和部署(五)-----ubuntu16.0.4安裝Spark

Spark集羣安裝和部署(六)-----pyspark更新Python版本、Notebook安裝配置、安裝pip

 

下載地址：http://spark.apache.org/downloads.htm

 下載好後解壓到：/usr/local/

sudo tar zxvf spark-2.3.1-bin-hadoop2.7.tgz  -C /usr/local/
刪除安裝包：

rm spark-2.3.1-bin-hadoop2.7.tgz 
進入到減壓目錄並重命名：

​cd /usr/local/
sudo mv spark-2.3.1-bin-hadoop2.7 spark
配置環境：
sudo vim ./bashrc

source ./bashrc

配置配置spark-env.sh
進入到spark/conf/

cp spark-env.sh.template spark-env.sh
vim spark-env.sh
export JAVA_HOME=/usr/local/java/jdk1.8.0_181
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SCALA_HOME=/usr/local/scala
export SPARK_HOME=/usr/local/spark
export SPARK_MASTER_IP=127.0.0.1
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8099
export SPARK_WORKER_CORES=3
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=5G
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_EXECUTOR_CORES=1
export SPARK_EXECUTOR_MEMORY=1G
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/native
java，hadoop等具體路徑根據自己實際環境設置。

配置Slave
cp slaves.template  slaves
vim slaves

默認就是localhost

啓動（前提是hadoop僞分佈已經啓動，就是上面的jps後出現那幾個）：

啓動sbin目錄下的start-master.sh以及start-slaves.sh

注意：

sbin目錄下都是些啓動或關閉操作，尤其注意下有start-slaves.sh和start-slave.sh，這裏啓動的是start-slaves.sh

 Spark的web界面：http://127.0.0.1:8099/

 

 啓動bin目錄下的spark-shell

spark-shell的web界面http://127.0.0.1:4040 

當然爲了方便，還可以配置修改BASH配置：
vim ./bashrc 
export SPARK_HOME=/usr/local/spark
 
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${SPARK_HOME}/bin:${SPARK_HOME}/sbin:$PATH
source ./bashrc
以後就可以方便使用了。

簡略日誌：
spark將所有日誌都會輸出，很詳細，所以屏幕打印很多，由於混合了很多日誌不利於尋找程序執行的結果，所以要將info，改爲warn，這樣打印結果簡單明瞭了許多。

cd $SPARK_HOME/conf
cp log4j.properties.template log4j.properties
sudo vim log4j.properties