使用docker搭建spark環境最簡單方法

https://www.jianshu.com/p/314129ceb883

獲取docker鏡像

sudo docker pull sequenceiq/spark:1.6.0

運行docker容器

sudo docker run -it --name spark --rm sequenceiq/spark:1.6.0 /bin/bash

運行作業

$ cd /usr/local/spark
$ bin/spark-submit --master yarn-client --class org.apache.spark.examples.JavaWordCount lib/spark-examples-1.6.0-hadoop2.6.0.jar file:/usr/local/hadoop/input/

我們也可以把啓動容器和運行作業放在一起,比如:

sudo docker run -it --name spark --rm sequenceiq/spark:1.6.0 sh -c "\"spark-submit --master y
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章