MAC系統中搭建Spark大數據平臺（包括Scala）

MAC系統中搭建Spark大數據平臺（包括Scala）

總體介紹：

大家Spark大數據平臺，包括三部分內容：JDK，Scala，Spark

這三者是依次依賴的關係，Spark依賴於Scala環境（Spark是使用Scala語言開發），Scala語言必須運行與JVM上，所以，Scala依賴於Java環境。

1、JDK安裝

確保你本地以及安裝了 JDK 1.5 以上版本，並且設置了 JAVA_HOME 環境變量及 JDK 的bin目錄。

大家可以自行搜索相關安裝，最後需要驗證一下是否安裝成功：

1.1 java安裝是否成功：

localhost:~ didi$ java -version
java version "1.8.0_102"
Java(TM) SE Runtime Environment (build 1.8.0_102-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.102-b14, mixed mode)

1.2 java編譯器安裝是否成功：

localhost:~ didi$ javac -version
javac 1.8.0_102

如果大家Java環境沒有安裝成功，可以參考：java環境安裝和配置

2、Scala環境配置

Spark運行的基礎是Scala。Scala安裝非常簡單，兩步1、下載scala壓縮包；2、配置Scala的bin目錄的環境變量

2.1 下載Scala壓縮包

Scala官網下載地址：下載地址

2.2 解壓縮

將Scala壓縮包scala-2.11.8.tgz解壓縮到/usr/local/Cellar文件夾下面，生成scala-2.11.8文件夾

2.3 配置環境變量

使用sudo su進入管理員權限，配置/etc/profile文件，添加如下內容：

export PATH="$PATH:/usr/local/Cellar/scala-2.11.8/bin"

2.4 測試安裝是否成功：

localhost:~ didi$ scala
Welcome to Scala 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102).
Type in expressions for evaluation. Or try :help.

scala> 

OK！Scala安裝成功。

3、Spark環境安裝和配置

3.1 下載Spark壓縮包spark-2.0.1-bin-hadoop2.7.tgz

官網下載地址：點擊這裏，我選擇下載的版本如下：

3.2 解壓縮壓縮文件到指定文件夾/usr/local/Cellar，生成spark-2.0.1-bin-hadoop2.7文件夾

tar -zxvf spark-1.2.0-bin-hadoop1.tgz

3.3 配置環境變量

使用sudo su進入管理員權限，配置/etc/profile文件，添加如下內容：

export PATH="$PATH:/usr/local/Cellar/spark-2.0.1-bin-hadoop2.7/bin"

3.4 修改Spark的配置文件conf目錄

cp spark-env.sh.template spark-env.sh

修改spark-env.sh中的內容，加入如下配置：

</pre><pre code_snippet_id="1961561" snippet_file_name="blog_20161101_7_9283581" name="code" class="html">export SCALA_HOME=/usr/local/Cellar/scala-2.11.8/bin
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=4g

3.5 運行Spark

./start-all.sh

3.6 使用spark shell進行測試

localhost:bin didi$ spark-shell 
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).
16/11/01 21:09:47 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
16/11/01 21:09:47 WARN Utils: Your hostname, localhost resolves to a loopback address: 127.0.0.1; using 10.97.182.157 instead (on interface en0)
16/11/01 21:09:47 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address
16/11/01 21:09:48 WARN SparkContext: Use an existing SparkContext, some configuration may not take effect.
Spark context Web UI available at http://10.97.182.157:4040
Spark context available as 'sc' (master = local[*], app id = local-1478005788625).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.0.1
      /_/
         
Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)
Type in expressions to have them evaluated.
Type :help for more information.

scala> 

OK！Spark環境搭建成功！

總結，在安裝環境的時候，我們需要首先弄清楚各個環境和依賴之間的關係，這樣安裝和配置環境的時候，會更加的自信和有條理。

祝大家學習和工作順利。共同研究大數據。