[Spark] Spark/PySpark 的安装及配置

1. 安装 JAVA

详细步骤可以参考: [Linux] 安装 JAVA

2. 安装 Spark

• 下载单机版 Spark, 当前最新版本 spark-2.4.4-bin-hadoop2.7.tgz

wget http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz

• 解压

 tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz

• 安装在 /opt 目录下

sudo mkdir /opt/spark-2.4.4
sudo mv spark-2.4.4-bin-hadoop2.7/* /opt/spark-2.4.4

• 编辑 ~/.bash_profile 文件配置环境变量

# Spark 环境变量
export SPARK_HOME=/opt/spark-2.4.4
export PATH=$PATH:$SPARK_HOME/bin
# 将Spark的Python编译器设置为本地Python
export PYTHONPATH=$SPARK_HOME/python:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.10.7-src.zip:$PYTHONPATH
export PYSPARK_PYTHON=python3
# 加入jupyter路径, 在命令行输入pyspark启动jupyter
export PYSPARK_DRIVER_PYTHON=/usr/local/anaconda3/bin/jupyter-notebook
export PYSPARK_DRIVER_PYTHON_OPTS=" --ip=0.0.0.0 --port=7777"

注意 PYSPARK_DRIVER_PYTHON 参数要设置为本机 Jupyter 所在路径

3. 在 Jupyter 中调用 PySpark

• 在命令行输入 pyspark 启动 Jupyter
  
• 测试能否正常导入

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('dataFrameApply').getOrCreate()
csv_file = '/data/test.csv'
df = spark.read.csv(csv_file,header=True,inferSchema=True,sep=',')