Spark_安裝(單機版)

郵箱:[email protected]

一、安裝jdk

二、安裝spark

link
說明：安裝單機版spark只需要安裝jdk和spark就可以了，因爲spark內置的有scala，可不單獨安裝spark依賴的scala。這是網上的說法，我因爲安裝了scala就沒有再去卸載

三、下載

四、解壓

解壓的Linux命令：

-zxvf  spark-2.3.1-bin-hadoop2.7.tgz
爲了操作方便，我將解壓得到的spark-2.3.1-bin-hadoop2.7文件夾改名爲spark-2.3.1了：mv spark-2.3.1-bin-hadoop2.7 spark-2.3.1

配置環境變量

#Spark
export SPARK_HOME=/opt/spark-2.3.1
export PATH=$PATH:$SPARK_HOME/bin

別忘了編輯完保存source

新建spark-env.sh配置文件(spark環境配置文件)
進入spark的conf目錄下：cd  /opt/spark-2.3.1/conf/.  
copy一份spark-env.sh：cp  spark-env.sh.template spark-env.sh
然後進入vim編輯模式：vim  spark-env.sh，會提示文件已存在，輸入“e”進入編輯模式即可.  
在文件的最後加上如下配置
#export SCALA_HOME=/opt/scala-2.13.0
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-3.b13.el7_5.x86_64  #這裏是你jdk的安裝路徑
export SPARK_HOME=/opt/spark-2.3.1
export SPARK_MASTER_IP=XXX.XX.XX.XXX  #將這裏的xxx改爲自己的Linux的ip地址
#export SPARK_EXECUTOR_MEMORY=512M
#export SPARK_WORKER_MEMORY=1G
#export master=spark://XXX.XX.XX.XXX:7070

新建slaves配置文件

進入spark的conf目錄下:cd  /opt/spark-2.3.1/conf/，
copy一份slaves：cp  slaves.template slaves
然後進入vim編輯模式：vim  slaves，會提示文件已存在，輸入“e”進入編輯模式即可。
在文件的最後加上如下配置:

啓動Spark

 進入spark的sbin目錄：cd  sbin/
 啓動spark集羣（單機版）： ./start-all.sh