Spark-local本地環境搭建

注：圖片如果損壞，點擊文章鏈接：https://www.toutiao.com/i6815385772254822919/

承接上一個文檔《Spark源碼編譯》

解壓spark編譯好的壓縮包

 

sudo tar -zxvf spark-2.0.2-bin-2.7.3.tgz -C /opt/bigdata/spark

 

 

修改配置文件

 

添加內容

 

啓動hdfs

namenode和datanode

測試spark自帶的例子

計算圓周率

./bin/run-example SparkPi

 

 

 

第二個測試

./bin/run-example SparkPi 100

 

啓動sparkshell

 

退出spark shell的命令是 :quit

 

修改日誌打印級別(可選)

 

修改文件

 

修改log4j.logger.org.apache.spark.repl.Main=INFO這句話就可以了