之前本來一直想利用PyCharm+Spark+Python的環境,千辛萬苦好像可以正常運行Spark應用程序了,但是臨門一腳,居然出現編碼的問題,能力有限,實在搞不定了,只能在Linux下搞了,好吧,Linux的Hadoop和Spark環境以及配置成功,現在就只差pyspark的配置了,其實很簡單,就是在/etc/profile文件裏面添加下面一行命令:
export PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH
之後千萬記得source /etc/profile,然後在Spark安裝目錄下輸入spark-submit xxx.py,就好了。
可以愉快地玩耍了。。。