1. 安裝 JAVA
詳細步驟可以參考: [Linux] 安裝 JAVA
2. 安裝 Spark
- 下載單機版 Spark, 當前最新版本
spark-2.4.4-bin-hadoop2.7.tgz
wget http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz
- 解壓
tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz
- 安裝在
/opt
目錄下
sudo mkdir /opt/spark-2.4.4
sudo mv spark-2.4.4-bin-hadoop2.7/* /opt/spark-2.4.4
- 編輯
~/.bash_profile
文件配置環境變量
# Spark 環境變量
export SPARK_HOME=/opt/spark-2.4.4
export PATH=$PATH:$SPARK_HOME/bin
# 將Spark的Python編譯器設置爲本地Python
export PYTHONPATH=$SPARK_HOME/python:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.10.7-src.zip:$PYTHONPATH
export PYSPARK_PYTHON=python3
# 加入jupyter路徑, 在命令行輸入pyspark啓動jupyter
export PYSPARK_DRIVER_PYTHON=/usr/local/anaconda3/bin/jupyter-notebook
export PYSPARK_DRIVER_PYTHON_OPTS=" --ip=0.0.0.0 --port=7777"
注意 PYSPARK_DRIVER_PYTHON
參數要設置爲本機 Jupyter 所在路徑
3. 在 Jupyter 中調用 PySpark
- 在命令行輸入
pyspark
啓動 Jupyter
- 測試能否正常導入
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('dataFrameApply').getOrCreate()
csv_file = '/data/test.csv'
df = spark.read.csv(csv_file,header=True,inferSchema=True,sep=',')