Spark環境搭建
安裝步驟分爲java, hadoop, scala和 spark四步,其中java和hadoop在上一個環境配置中已經安裝完畢,Win10下的Hadoop安裝及簡單操作,因此只需要安裝 scala和 spark。以下是對我整個安裝過程的記錄。
首先登陸http://spark.apache.org/downloads.html下載符合本機Hadoop和JDK版本的Spark安裝包,我的Hadoop版本是2.8.4因此下載了2.4.0版本的Spark。
下載完成後進行解壓在D盤的根目錄下,設置環境變量。
首先新建一個環境變量SPARK_HOME,變量名是安裝的路徑:
之後在Path中添加一個路徑即可:
第二步安裝Scala。進入網站https://www.scala-lang.org/download下載Scala的安裝包:
安裝過程中沒有任何需要更改的地方,只需要摁Next即可。我在中間修改了一下安裝位置,因爲C盤放不下了。最後安裝完畢後會自動新建環境變量。
打開cmd輸入scala如果看到如下標識則安裝成功。
最後打開cmd鍵入spark-shell出現以下標識則是安裝成功: