spark對於多Python版本配置

spark版本推薦: >= 2.4.0

假設新的python3的路徑爲/usr/bin/python3

整體規劃:
pyspark spark-submit 調用python2
pyspark3 spark-submit3 調用python3

配置方式:

  1. cp pyspark pyspark3
    vim pyspark3
    在最後一行exce語句上面添加如下的語句:
    export PYSPARK_DRIVER_PYTHON=/usr/bin/python3
    export PYSPARK_PYTHON=/usr/bin/python3

  2. cp spark-submit spark-submit3
    vim spark-submit3
    在最後一行exce語句上面添加如下的語句
    export PYSPARK_PYTHON=/usr/bin/python3

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章