spark windows 單機 安裝

0目標

單機windows上，運行spark

1  前期準備

jdk 1.7 

2  下載spark 包

官網 http://spark.apache.org/downloads.html  下載響應的hadoop版本的spark，spark-1.6.2-bin-hadoop2.6，spark1.6.2,內嵌hadoop2.6，不要要without的

解壓到D:\software\spark-1.6.2-bin-hadoop2.6

將D:\software\spark-1.6.2-bin-hadoop2.6設爲SPARK_HOME變量

將D:\software\spark-1.6.2-bin-hadoop2.6\bin 添加到windows 系統Path變量

3 安裝windows環境下hadoop依賴

spark是基於hadoop的額，運行過程調用hadoop庫，將hadoop2.6編譯好的包，下載解壓hadoop-2.6.0.tar.gz

https://www.barik.net/archive/2015/01/19/172716/

將D:\software\hadoop-2.6.0設爲HADOOP_HOME變量

將D:\software\hadoop-2.6.0\bin添加到系統Path變量中