spark版本推薦: >= 2.4.0
假設新的python3的路徑爲/usr/bin/python3
整體規劃:
pyspark spark-submit 調用python2
pyspark3 spark-submit3 調用python3
配置方式:
-
cp pyspark pyspark3
vim pyspark3
在最後一行exce語句上面添加如下的語句:
export PYSPARK_DRIVER_PYTHON=/usr/bin/python3
export PYSPARK_PYTHON=/usr/bin/python3 -
cp spark-submit spark-submit3
vim spark-submit3
在最後一行exce語句上面添加如下的語句
export PYSPARK_PYTHON=/usr/bin/python3