spark1.2.0版本搭建僞分佈式環境

、下載scala2.11.5版本,下載地址爲:http://www.scala-lang.org/download/2.11.5.html

2、安裝和配置scala:

第一步:上傳scala安裝包 並解壓



第二步 配置SCALA_HOME環境變量到bash_profile


第三步 source 使配置環境變量生效:


第四步 驗證scala:


3、下載spark 1.2.0,具體下載地址:http://spark.apache.org/downloads.html

4、安裝和配置spark:

第一步  解壓spark:



第二步 配置SPARK_HOME環境變量:


 

第三步 使用source生效:


 

進入spark的conf目錄:

第四步 修改slaves文件,首先打開該文件:



slaves修改後:


第五步 配置spark-env.sh

首先把spark-env.sh.template拷貝到spark-env.sh:


然後 打開“spark-env.sh”文件:


spark-env.sh文件修改後:


5、啓動spark僞分佈式幫查看信息:

第一步 先保證hadoop集羣或者僞分佈式啓動成功,使用jps看下進程信息:


如果沒有啓動,進入hadoop的sbin目錄執行 ./start-all.sh

第二步 啓動spark:

進入spark的sbin目錄下執行“start-all.sh”:


此刻 我們看到有新進程“Master” 和"Worker"

我們訪問“http://master:8080/”,進如spark的web控制檯頁面:


從頁面上可以看到一個Worker節點的信息。

 

我們進入spark的bin目錄,使用“spark-shell”控制檯:



通過訪問"http://master:4040",進入spark-shell web控制檯頁面:


 

6、測試spark僞分佈式:

我們使用之前上傳到hdfs中的/data/test/README.txt文件進行mapreduce

取得hdfs文件:


對讀取的文件進行一下操作:


 

使用collect命令提交併執行job:

readmeFile.collect


 

查看spark-shell web控制檯:


 

states:


端口整理:

master端口是7077

master webui是8080

spark shell webui端口是4040

發佈了60 篇原創文章 · 獲贊 0 · 訪問量 1萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章