基於linux的spark與scala開發環境搭建

軟件配置:

      操作系統:centos 6.4(如下圖)

     

      內核版本:2.6.32(如下圖)

     

      Java版本:1.6(如下圖)

    

一、下載並安裝scala

      從下面這個鏈接可以下載scala的linux版本(如下圖),注意選擇2.10.4版本和spark1.0.0用的版本吻合

http://www.scala-lang.org/download/2.10.4.html


     然後解壓縮,用tar xzvfscala-x.x.x.tgz可以得到解壓縮後的文件夾,

     然後將其移動到/usr/lib目錄下,並且更改系統的環境變量如下圖所示


     並設置PATH=$PATH:$SCALA_HOME/bin

     這樣通過scala –version便可以查看到當前的scala版本,說明scala安裝成功。


     另外我們還可以直接進入scala的環境進行測試。

     如下圖


二、安裝spark

     從下面這個鏈接可以下載spark的各種版本

http://spark.apache.org/downloads.html

     我下載了編譯好的hadoop1和源碼包這兩個壓縮包。

     如下圖所示


     並且解壓縮

     設置環境變量



     注意由於在本機運行spark還需要設置如下兩個環境變量



     這樣運行


     便可看到spark成功運行

     下圖展示運行分佈式計算π的例程也可正常運行。




發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章