yarn的一些配置

 1. -m 用與配置他的模式: yarn-cluster適用於生產環境;而yarn-client適用於交互和調試

從深層次的含義講,yarn-cluster和yarn-client模式的區別其實就是Application Master進程的區別,yarn-cluster模式下,driver運行在AM(Application Master)中,它負責向YARN申請資源,並監督作業的運行狀況。當用戶提交了作業之後,就可以關掉Client,作業會繼續在YARN上運行。然而yarn-cluster模式不適合運行交互類型的作業。而yarn-client模式下,Application Master僅僅向YARN請求executor,client會和請求的container通信來調度他們工作,也就是說Client不能離開。

Yarn-cluster:

Spark Driver首先作爲一個ApplicationMaster在YARN集羣中啓動,客戶端提交給ResourceManager的每一個job都會在集羣的

2. 在線上啓動我的第一個項目,寫一個腳本,內容如下:

export HADOOP_CONF_DIR="/usr/hdp/2.6.3.0-235/hadoop/conf"
export HADOOP_CLASSPATH=`hadoop classpath`
echo ${HADOOP_CONF_DIR}
cd /data/flink/flink-1.10.0/bin
 ./flink run -m yarn-cluster -c myflink.SocketWindowWordCount  /home/zhenghui.liu/original-my-flink-project-0.1.jar

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章