spark平臺搭建

  • Spark是用Scala程序設計語言編寫而成,運行於Java虛擬機(JVM)環境之上。目前支持如下程序設計語言編寫Spark應用:
Scala
Java
Python
Clojure
R

前提條件:

  • 爲了讓Spark能夠在本機正常工作,你需要安裝Java開發工具包(JDK)。windows與ubuntu自行下載對應的安裝包安裝,安裝目錄不要帶空格。
  • 同樣還需要在電腦上安裝Spark軟件.
    Spark網站下載最新版本的Spark。
    將安裝文件解壓到本地文件夾中(如:c:\dev,ubuntu也同樣解壓)。爲了驗證Spark安裝的正確性,切換至Spark文件夾然後用如下命令啓動Spark Shell。這是Windows環境下的命令。
c:
cd c:\dev\spark-1.2.0-bin-hadoop2.4
bin\spark-shell

如果使用Linux或Mac OS,請相應地編輯命令以便能夠在相應的平臺上正確運行。

發佈了40 篇原創文章 · 獲贊 35 · 訪問量 11萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章