邮箱:[email protected]
一、安装jdk
二、安装spark
link
说明:安装单机版spark只需要安装jdk和spark就可以了,因为spark内置的有scala,可不单独安装spark依赖的scala。这是网上的说法,我因为安装了scala就没有再去卸载
三、下载
四、解压
解压的Linux命令:
-zxvf spark-2.3.1-bin-hadoop2.7.tgz
为了操作方便,我将解压得到的spark-2.3.1-bin-hadoop2.7文件夹改名为spark-2.3.1了:mv spark-2.3.1-bin-hadoop2.7 spark-2.3.1
配置环境变量
#Spark
export SPARK_HOME=/opt/spark-2.3.1
export PATH=$PATH:$SPARK_HOME/bin
别忘了编辑完保存source
新建spark-env.sh配置文件(spark环境配置文件)
进入spark的conf目录下:cd /opt/spark-2.3.1/conf/.
copy一份spark-env.sh:cp spark-env.sh.template spark-env.sh
然后进入vim编辑模式:vim spark-env.sh,会提示文件已存在,输入“e”进入编辑模式即可.
在文件的最后加上如下配置
#export SCALA_HOME=/opt/scala-2.13.0
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-3.b13.el7_5.x86_64 #这里是你jdk的安装路径
export SPARK_HOME=/opt/spark-2.3.1
export SPARK_MASTER_IP=XXX.XX.XX.XXX #将这里的xxx改为自己的Linux的ip地址
#export SPARK_EXECUTOR_MEMORY=512M
#export SPARK_WORKER_MEMORY=1G
#export master=spark://XXX.XX.XX.XXX:7070
新建slaves配置文件
进入spark的conf目录下:cd /opt/spark-2.3.1/conf/,
copy一份slaves:cp slaves.template slaves
然后进入vim编辑模式:vim slaves,会提示文件已存在,输入“e”进入编辑模式即可。
在文件的最后加上如下配置:
启动Spark
进入spark的sbin目录:cd sbin/
启动spark集群(单机版): ./start-all.sh