Mac Spark安裝及其IDE使用

一、首先搭建hadoop環境

https://blog.csdn.net/jiuweiC/article/details/104414651

二、安裝scala

命令行執行：brew install scala
執行完成後，終端輸入：scala -version 進行查看，如下表明安裝成功：

 scala -version
Scala code runner version 2.12.8 -- Copyright 2002-2018, LAMP/EPFL and Lightbend, Inc.

然後在環境變量中增加scala相關的變量，命令行輸入：vim ~/etc/profile進行編輯，增加環境變量：

export SCALA_HOME=/usr/local/Cellar/scala/2.12.8
export PATH=$PATH:$SCALA_HOME/bin

三、安裝spark

1、安裝spark
進入Apache Spark官網進行Spark的下載：http://spark.apache.org/downloads.html

下載完之後解壓，並將解壓後將文件夾名稱改爲 spark ,
的文件夾移動到/usr/local/目錄下

2、 配置環境變量

命令行輸入：vim ~/etc/profile進行編輯，增加環境變量：

export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin

然後保存退出，執行source ~/etc/profile，使之生效。

5.3 配置spark-env.sh

進入到Spark目錄的conf配置文件中:cd /usr/local/spark/conf，執行命令:cp spark-env.sh.template spark-env.sh將spark-env.sh.template拷貝一份，然後打開拷貝後的spark-env.sh文件:vim spark-env.sh，在裏面加入如下內容:

export SCALA_HOME=/usr/local/Cellar/scala/2.12.6
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=4G

配置好之後，命令行執行：spark-shell，如果出現如下所示的畫面，就表明spark安裝成功了：

四、IDE開發
1.官網下載intellij
jetbrains.com/idea/
2.安裝scala插件
安裝時順便安裝scala插件，如果當時沒有安裝
preference->Plugins 安裝scala重啓ide

3.導入項目
選擇導入項目

選擇項目的pom文件進行打開

導入依賴，右鍵maven->選擇第一項

如果你是國內的網，請先點擊2，配置國內鏡像，這裏給出ali鏡像

<?xml version="1.0" encoding="UTF-8"?>
<settings xmlns="http://maven.apache.org/SETTINGS/1.0.0"
                     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
                     xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd">
<mirrors>
    <mirror>
        <id>alimaven</id>
        <name>aliyun maven</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        <mirrorOf>central</mirrorOf>
    </mirror>
</mirrors>
</settings>