spark yarn 提交任務 獲取的是本地的機器名稱

參考文章:

https://www.cnblogs.com/fbiswt/p/4667956.html

1、客戶端安裝的機器一般是虛擬機,虛擬機的名稱可能是隨便搞的,然而,yarn-client模式提交任務,是默認把本機當成driver的。所以導致其他的機器無法通過host的name直接訪問這臺機器。報錯就是Failed to connect to driver at x.x.x.x,retrying.....

 解決辦法:在命令後面加上一個--conf spark.driver.host=$your_ip_address,後面直接填客戶端機器的IP地址就行。還有一個辦法:export SPARK_JAVA_OPTS="-Dspark.driver.host=$your_ip_address",但是這種方法你在用完yarn-client後就沒有辦法再用yarn-cluster了。千萬不能把這個參數配置到spark-default.conf裏面。
————————————————
https://blog.csdn.net/monica111111/article/details/94741286

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章