python+linux後續

之前本來一直想利用PyCharm+Spark+Python的環境,千辛萬苦好像可以正常運行Spark應用程序了,但是臨門一腳,居然出現編碼的問題,能力有限,實在搞不定了,只能在Linux下搞了,好吧,Linux的Hadoop和Spark環境以及配置成功,現在就只差pyspark的配置了,其實很簡單,就是在/etc/profile文件裏面添加下面一行命令:

export PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH

之後千萬記得source  /etc/profile,然後在Spark安裝目錄下輸入spark-submit xxx.py,就好了。

可以愉快地玩耍了。。。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章