Mac平臺下spark單機環境 安裝

• 單機環境安裝
• 1.安裝環境

               系統：Linux系統平臺（Windows上需要安裝Cygwin，以模擬Linux環境）

               預裝依賴：JDK（Linux系統一般會自帶安裝好的openjdk，本文跳過JDK的安裝）、Scala

• 2.安裝Scala

               Scala官網地址：http://www.scala-lang.org

               1）下載scala-2.11.7.tgz

               2）當前目錄下解壓

                    tar -xzvf scala-2.11.7.tgz

               3）配置環境變量

                    在/etc/profile中添加如下內容：

# Scala Variables Start

export SCALA_HOME=/Users/alina/ComputerScience/scala-2.10.5

export PATH=${SCALA_HOME}/bin:$PATH

# Scala Variables End

               $ source /etc/profile 使配置文件生效

               $ scala -version 出現如下信息即爲配置好

AlinadeMacBook-Pro:~ alina$ scala -version

Scala code runner version 2.10.5 -- Copyright 2002-2013, LAMP/EPFL

          

• 3.配置ssh

               1）在master節點，執行以下命令（單機環境爲本地）

                         $ssh-keygen -t rsa

               2）追加到authorized_keys文件

                         $cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

               3）驗證（如果連接被拒絕，需要在系統偏好設置的共享裏開啓遠程登錄服務）

                         $ssh localhost

• 4.安裝Spark

               spark官網：http://spark.apache.org/downloads.html               

               1）下載spark-1.4.1-bin-hadoop2.6.tgz

               2）解壓 tar -zxvf spark-1.4.1-bin-hadoop2.6.tar

               3）配置環境變量

                    sudo vim /etc/profile

# Spark Variables Start

export SPARK_HOME=/Users/alina/ComputerScience/spark-1.4.1-bin-hadoop2.6

export PATH=${SPARK_HOME}/bin:$PATH

# Spark Variables End

                    使配置生效

                    $ source /etc/profile

               4）配置conf/spark-env.sh

                    $ mv spark-env.sh.template spark-env.sh

                    在spark-env.sh中添加(mac中使用$(/usr/libexec/java_home)引用java的路徑)

               export SCALA_HOME=/Users/alina/ComputerScience/scala-2.11.7

               export JAVA_HOME=$(/usr/libexec/java_home)

               export SPARK_WORKER_MEMORY=2g  

              5）啓動spark

                    $pwd

                         /Users/alina/ComputerScience/spark-1.4.1-bin-hadoop2.6/sbin 

                    $./start-all.sh

AlinadeMacBook-Pro:spark-1.4.1-bin-hadoop2.6 alina$ jps

46319 Worker

46192 Master

46342 Jps