macOS spark的安裝與運行

1.訪問spark官網https://spark.apache.org/，然後單擊download連接https://spark.apache.org/downloads.html

2.進入download界面後，選擇類型爲Pre-buil for Apache Hadoop2.7 and later，這樣就不用事先安裝Hadoop了

3.單擊download spark後的連接，下載 spark-2.4.3-bin-hadoop2.7.tgz文件，大概有230M

4.打開命令行終端，將spark-2.4.3-bin-hadoop2.7.tgz文件移動到/usr/local下

sudo mv spark-2.4.3-bin-hadoop2.7.tgz /usr/local

5.解壓縮該文件

sudo tar -zvxf spark-2.4.3-bin-hadoop2.7.tgz

6.配置環境變量

sudo nano ~/.bash_profile

7.在配置文件裏添加如下配置後保存退出

export SPARK_HOME=/usr/local/spark-2.4.3-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
export PYSPARK_PYTHON=python3

8.配置文件生效

source ~/.bash_profile

9.安裝pyspark

pip3 install pyspark

10.啓動pyspark，進入交互式命令窗口

參考連接：

[1]https://medium.com/luckspark/installing-spark-2-3-0-on-macos-high-sierra-276a127b8b85