Spark安裝和使用

Redis
上一篇	主目錄	下一篇

【前言】
Spark入門安裝和初步的使用

---

1 安裝

下載解壓（我使用的是 spark-2.4.5-bin-hadoop2.7.tgz 版本，下載地址）

[hadoop@hadoop05 ~]$ tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz -C apps

#export SCALA_HOME=/usr/local/bigdata/scala
export JAVA_HOME=/usr/java/jdk1.8.0_161
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.3
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_IP=Master
SPARK_LOCAL_DIRS=/home/hadoop/apps/spark-2.4.5-bin-hadoop2.7
SPARK_DRIVER_MEMORY=512M