1. -m 用與配置他的模式: yarn-cluster適用於生產環境;而yarn-client適用於交互和調試
從深層次的含義講,yarn-cluster和yarn-client模式的區別其實就是Application Master進程的區別,yarn-cluster模式下,driver運行在AM(Application Master)中,它負責向YARN申請資源,並監督作業的運行狀況。當用戶提交了作業之後,就可以關掉Client,作業會繼續在YARN上運行。然而yarn-cluster模式不適合運行交互類型的作業。而yarn-client模式下,Application Master僅僅向YARN請求executor,client會和請求的container通信來調度他們工作,也就是說Client不能離開。
Yarn-cluster:
Spark Driver首先作爲一個ApplicationMaster在YARN集羣中啓動,客戶端提交給ResourceManager的每一個job都會在集羣的
2. 在線上啓動我的第一個項目,寫一個腳本,內容如下:
export HADOOP_CONF_DIR="/usr/hdp/2.6.3.0-235/hadoop/conf"
export HADOOP_CLASSPATH=`hadoop classpath`
echo ${HADOOP_CONF_DIR}
cd /data/flink/flink-1.10.0/bin
./flink run -m yarn-cluster -c myflink.SocketWindowWordCount /home/zhenghui.liu/original-my-flink-project-0.1.jar