軟件配置:
操作系統:centos 6.4(如下圖)
內核版本:2.6.32(如下圖)
Java版本:1.6(如下圖)
一、下載並安裝scala
從下面這個鏈接可以下載scala的linux版本(如下圖),注意選擇2.10.4版本和spark1.0.0用的版本吻合
http://www.scala-lang.org/download/2.10.4.html。
然後解壓縮,用tar xzvfscala-x.x.x.tgz可以得到解壓縮後的文件夾,
然後將其移動到/usr/lib目錄下,並且更改系統的環境變量如下圖所示
並設置PATH=$PATH:$SCALA_HOME/bin
這樣通過scala –version便可以查看到當前的scala版本,說明scala安裝成功。
另外我們還可以直接進入scala的環境進行測試。
如下圖
二、安裝spark
從下面這個鏈接可以下載spark的各種版本
http://spark.apache.org/downloads.html
我下載了編譯好的hadoop1和源碼包這兩個壓縮包。
如下圖所示
並且解壓縮
設置環境變量
注意由於在本機運行spark還需要設置如下兩個環境變量
這樣運行
便可看到spark成功運行
下圖展示運行分佈式計算π的例程也可正常運行。