Mac Intellij IDEA中pyspark的環境搭建

背景

        默認python項目已經導入idea,Mac本地已經安裝好python。

步驟  

1、Mac本地安裝pyspark

brew install pandoc ##不可以用root安裝,而且安裝很慢;建議下載Mac安裝包手動安裝 http://johnmacfarlane.net/pandoc/installing.html
pip install pyspark==2.1.2 --user -U ##指定好版本,spark2.1.0用pyspark==2.1.2版本,需要加上;--user -U 基於用戶的權限來安裝模塊包,不然會有權限問題

2、Mac本地安裝spark-2.1.0

從官網下載 https://archive.apache.org/dist/spark/spark-2.1.0/spark-2.1.0-bin-hadoop2.7.tgz 解壓放到指定的目錄,在~/.bash_profile文件中配置環境變量

3、Intellij IDEA配置pyspark

 

添加兩個環境變量:

變量名:PYTHONPATH,變量值:/usr/local/spark/spark-2.1.0-bin-hadoop2.7/python
變量名:SPARK_HOME,變量值: /usr/local/spark/spark-2.1.0-bin-hadoop2.7

4、Intellij IDEA關聯pyspark源碼

file->project structure->modules,點擊加號: 

選擇第一個JARs or directories,找到PYTHONPATH下的lib文件夾,C:\spark\spark-2.1.0-bin-hadoop2.7\python\lib,直接添加進來即可,彈出的窗口選擇Jar Directory。

至此便可以用intellij idea運行測試pyspark程序了。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章