Spark on YARN安裝

Spark on YARN安裝

1.安裝Scala

(1)首先解壓scala:

tar -zxvf scala安裝包

(2)修改環境變量:

vim /etc/profile

內容如下：

export SCALA_HOME=/usr/scala/scala-2.11.12
export PATH=$SCALA_HOME/bin:$PATH

(3）生效環境變量：

source /etc/profile

(4）分發複製到兩個子節點，
(5)最後，用scala -version檢驗是否安裝成功。

2.安裝Spark

1.解壓:

tar -zxvf spark壓縮包

2.修改環境變量

vi /etc/profile

export SPARK_HOME=/usr/spark/spark-2.4.0-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH

3.修改配置文件：
(1)cp -a spark-env.sh.template spark-env.sh

# 添加配置如下
# 配置JAVA_HOME
export JAVA_HOME=/app/jdk
 # 設置Master的主機名
export SPARK_MASTER_IP=pig1
# 每一個Worker最多可以使用的內存，我的虛擬機就2g
 # 真實服務器如果有128G，你可以設置爲100G
# 所以這裏設置爲1024m或1g
export SPARK_WORKER_MEMORY=1024m
# 每一個Worker最多可以使用的cpu core的個數，我虛擬機就一個...
# 真實服務器如果有32個，你可以設置爲32個
export SPARK_WORKER_CORES=1
# 提交Application的端口，默認就是這個，萬一要改呢，改這裏
 export SPARK_MASTER_PORT=7077

(2) cp -a slaves.template slaves
修改slaves文件：
將localhost改爲:
slave1
slave2
4.分爲給其他機器：
5.啓動hadoop：
在sbin目錄下./start-all.sh
6.啓動spark

sbin/start-all.sh