windows下安裝pyspark

1.安裝JDK
官網下載Java,這裏我下的是8u121-windows-x64版本
下載JDK
在這裏插入圖片描述
安裝完設置環境變量,添加JAVA_HOME和CLASSPATH
在這裏插入圖片描述
並在Path中添加

%JAVA_HOME%\bin

配置完畢,打開cmd,執行

java -version
  1. Scala安裝配置

Scala download 下載對應scala 版本 【注意:Scala 1.6.2版本只能使用Spark 2.10各個版本;Scala 2.10.6 可適配Spark1.3.0到1.6.2】
windows 下直接下載msi 直接運行 會自動寫入到path
在這裏插入圖片描述
安裝完畢,驗證Scala

3.Hadoop安裝配置

hadoop 2.6.4 download
下載hadoop解壓之後
設置環境變量
添加 HADOOP_HOME 值爲hadoop解壓目錄
添加path ;%HADOOP_HOME%\bin

下載2.6版本hadoop 會缺少winutils.exe
去 http://blog.csdn.net/u011513853/article/details/52865076 下載對應hadoop 版本的winutils.exe
下載完畢後 將 winutils.exe 複製到 %HADOOP_HOME%\bin 目錄下
注意:2.7版本也適用於2.6
還要重點注意!!
需要修改 winutils.exe 訪問權限
先進入 到%HADOOP_HOME%\bin 目錄下

hadoop fs -chmod -R 777 /tmp

運行 spark-shell
在這裏插入圖片描述從圖中可以看到,在直接輸入spark-shell命令後,Spark開始啓動,並且輸出了一些日誌信息,大多數都可以忽略,需要注意的是兩句話:

Spark context available as sc.
SQL context available as sqlContext.

4.Spark安裝配置

spark download 安裝spark
在這裏插入圖片描述
安裝的目錄應該是要與spark bin的 同一層上
解壓後
運行cmd
spark-shell
這時應該還沒成功的,會有報錯
請看下一步

5.安裝python
我們使用anaconda管理工具,首先安裝anaconda,默認使用自帶的python。
安裝成功之後
6.安裝pycharm
7.配置pycharm

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章