spark standalone的安裝及使用

安裝:
1.下載http://d3kbcqa49mib13.cloudfront.net/spark-2.0.1-bin-hadoop2.6.tgz
2.安裝master到 192.168.8.94機器
解壓文件,並運行 sbin中的 start-master.sh
bash start-master.sh
正常安裝後,可以通過如下頁面打開:

3.安裝worker
./bin/spark-class org.apache.spark.deploy.worker.Worker spark://192.168.8.94:7077 -c 4 -m 2G
-c參數代表核心數。
-m參數代表內存大小。

安裝完成

使用:
1.運行pyspark shell
如:運行pyspark shell 分配6個CPU , 每個執行器2個CPU , 可以通過如下命令:
pyspark --master spark://192.168.8.94:7077 --total-executor-cores 6 --executor-cores 2
運行結果:
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/__ / .__/\_,_/_/ /_/\_\ version 2.0.2
/_/

Using Python version 2.6.6 (r266:84292, Jul 23 2015 15:22:56)
SparkSession available as 'spark'.
>>>
2.spark-submit提交任務
如提交一個任務,分配6個CPU, 每個執行器2個CPU,可以通過如下命令
[gcadmin006@cnhbase111 ~]$ spark-submit --master spark://172.17.13.111:7077 --total-executor-cores 6 --executor-cores 2 hbase_to_cloudhbase_prodesc.py
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章