spark对于多Python版本配置

spark版本推荐: >= 2.4.0

假设新的python3的路径为/usr/bin/python3

整体规划:
pyspark spark-submit 调用python2
pyspark3 spark-submit3 调用python3

配置方式:

  1. cp pyspark pyspark3
    vim pyspark3
    在最后一行exce语句上面添加如下的语句:
    export PYSPARK_DRIVER_PYTHON=/usr/bin/python3
    export PYSPARK_PYTHON=/usr/bin/python3

  2. cp spark-submit spark-submit3
    vim spark-submit3
    在最后一行exce语句上面添加如下的语句
    export PYSPARK_PYTHON=/usr/bin/python3

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章