spark在windows10下的安裝教程

Spark環境搭建

安裝步驟分爲java, hadoop, scala和 spark四步,其中java和hadoop在上一個環境配置中已經安裝完畢,Win10下的Hadoop安裝及簡單操作,因此只需要安裝 scala和 spark。以下是對我整個安裝過程的記錄。

首先登陸http://spark.apache.org/downloads.html下載符合本機Hadoop和JDK版本的Spark安裝包,我的Hadoop版本是2.8.4因此下載了2.4.0版本的Spark。

下載完成後進行解壓在D盤的根目錄下,設置環境變量。

首先新建一個環境變量SPARK_HOME,變量名是安裝的路徑:

之後在Path中添加一個路徑即可:

 

第二步安裝Scala。進入網站https://www.scala-lang.org/download下載Scala的安裝包:

安裝過程中沒有任何需要更改的地方,只需要摁Next即可。我在中間修改了一下安裝位置,因爲C盤放不下了。最後安裝完畢後會自動新建環境變量。

打開cmd輸入scala如果看到如下標識則安裝成功。

最後打開cmd鍵入spark-shell出現以下標識則是安裝成功:

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章