背景
默認python項目已經導入idea,Mac本地已經安裝好python。
步驟
1、Mac本地安裝pyspark
brew install pandoc ##不可以用root安裝,而且安裝很慢;建議下載Mac安裝包手動安裝 http://johnmacfarlane.net/pandoc/installing.html
pip install pyspark==2.1.2 --user -U ##指定好版本,spark2.1.0用pyspark==2.1.2版本,需要加上;--user -U 基於用戶的權限來安裝模塊包,不然會有權限問題
2、Mac本地安裝spark-2.1.0
從官網下載 https://archive.apache.org/dist/spark/spark-2.1.0/spark-2.1.0-bin-hadoop2.7.tgz 解壓放到指定的目錄,在~/.bash_profile文件中配置環境變量
3、Intellij IDEA配置pyspark
添加兩個環境變量:
變量名:PYTHONPATH,變量值:/usr/local/spark/spark-2.1.0-bin-hadoop2.7/python
變量名:SPARK_HOME,變量值: /usr/local/spark/spark-2.1.0-bin-hadoop2.7
4、Intellij IDEA關聯pyspark源碼
file->project structure->modules,點擊加號:
選擇第一個JARs or directories,找到PYTHONPATH下的lib文件夾,C:\spark\spark-2.1.0-bin-hadoop2.7\python\lib,直接添加進來即可,彈出的窗口選擇Jar Directory。
至此便可以用intellij idea運行測試pyspark程序了。