Spark安裝-ubuntu 18.04下安裝

在安裝spark之前，首先需要安裝配置Hadoop,這個就不做詳細介紹了，可以參看另一篇：

https://blog.csdn.net/weixin_42001089/article/details/81865101

 

本文參考：https://blog.csdn.net/weixin_42001089/article/details/82346367

 

一、查看Hadoop安裝情況

1. 打開終端

2. 查看hadoop版本:hadoop version

3. 啓動hdfs文件系統：start-dfs.sh

4. 啓動yarn資源調度器：start-yarn.sh

5. 使用jps查看是否啓動成功：jps

說明：

ResourceManager和NodeManager是yarn資源調度器啓動的

DataNode、 NameNode和SecondaryNameNode是hdfs文件系統啓動的

所以如果有哪項沒有啓動成功，就說明對應（yarn或hdfs）的配置文件沒有配置成功，需要去看日誌手動解決

二者都有相應的web即：

yarn:

http://localhost:8088/cluster

hdfs:

http://localhost:50070/

二、Scala安裝

1. 下載地址：https://www.scala-lang.org/download/2.11.8.html

2. 下載好後解壓到：/home/wangsiyao/

sudo tar zxvf '/home/wangsiyao/下載/scala-2.11.8.tgz' -C /home/wangsiyao/

3. 重命名爲：scala

4. 配置環境變量

sudo vim /etc/profile

結尾位置添加：

SCALA_HOME=/home/wangsiyao/scala

export SCALA_HOME

$SCALA_HOME/bin

5. 配置文件

source /etc/profile

6. 測試：

scala -version

三、Spark安裝：

1. 下載地址：http://spark.apache.org/downloads.html

點擊3. Download Spark: ****

點擊加粗部分

等待下載

2. 下載好後解壓到：/home/wangsiyao/

sudo tar zxvf  '/home/wangsiyao/下載/spark-2.3.3-bin-hadoop2.7.tgz'  -C  /home/wangsiyao/

3. 重命名爲：spark

 

4. 配置環境

sudo vim /etc/profile

添加：

SPARK_HOME=/home/wangsiyao/spark

:$SPARK_HOME/bin

export SPARK_HOME

即：

配置：

source /etc/profile

5. 配置spark-env.sh

進入到spark/conf/：

cd spark/conf/

sudo cp spark-env.sh.template spark-env.sh

sudo vim spark-env.sh

注：具體配置按照個人路徑

6. 配置Slave

sudo cp slaves.template  slaves

vim slaves

默認就是localhost

7. 啓動

前提是之前的僞分佈式已經啓動

即：

進入spark/sbin/

cd spark/sbin/

啓動start-master.sh以及start-slaves.sh

sudo ./start-master.sh 

sudo ./start-slaves.sh 

在啓動start-slaves.sh出現錯誤！！

root@localhost's password:localhost:permission denied,please try again。

解決辦法：https://www.cnblogs.com/hmy-blog/p/6500909.html

重新嘗試本步驟：

Spark的web界面：http://127.0.0.1:8099/

8. 啓動bin目錄下的spark-shell

注意：這裏是bin目錄，而不是sbin了！！！

進入scala環境：

可以編寫代碼了！！！

spark-shell的web界面http://127.0.0.1:4040