[Spark] Spark/PySpark 的安裝及配置

1. 安裝 JAVA

詳細步驟可以參考: [Linux] 安裝 JAVA

2. 安裝 Spark

  • 下載單機版 Spark, 當前最新版本 spark-2.4.4-bin-hadoop2.7.tgz
wget http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz
  • 解壓
 tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz
  • 安裝在 /opt 目錄下
sudo mkdir /opt/spark-2.4.4
sudo mv spark-2.4.4-bin-hadoop2.7/* /opt/spark-2.4.4
  • 編輯 ~/.bash_profile 文件配置環境變量
# Spark 環境變量
export SPARK_HOME=/opt/spark-2.4.4
export PATH=$PATH:$SPARK_HOME/bin
# 將Spark的Python編譯器設置爲本地Python
export PYTHONPATH=$SPARK_HOME/python:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.10.7-src.zip:$PYTHONPATH
export PYSPARK_PYTHON=python3
# 加入jupyter路徑, 在命令行輸入pyspark啓動jupyter
export PYSPARK_DRIVER_PYTHON=/usr/local/anaconda3/bin/jupyter-notebook
export PYSPARK_DRIVER_PYTHON_OPTS=" --ip=0.0.0.0 --port=7777"

注意 PYSPARK_DRIVER_PYTHON 參數要設置爲本機 Jupyter 所在路徑

3. 在 Jupyter 中調用 PySpark

  • 在命令行輸入 pyspark 啓動 Jupyter
    在這裏插入圖片描述
  • 測試能否正常導入
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('dataFrameApply').getOrCreate()
csv_file = '/data/test.csv'
df = spark.read.csv(csv_file,header=True,inferSchema=True,sep=',')
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章