即問題原因是pyspark的python環境與driver也就是主節點的python環境版本不一致
spark-submit提交程序，如若還是這個問題
在python代碼中添加
import os
os.environ['PYSPARK_PYTHON']='/usr/local/bin/pythonXXX' 即可運行
也可以在/etc/spark/conf/spark-env.sh中添加如下代碼，就無需在python代碼中添加環境變量了
export PYSPARK_PYTHON=/usr/bin/python
export PYSPARK_DRIVER_PYTHON=/usr/bin/python