spark on yarn(ERROR client.TransportClient: Failed to send RPC)

主要是給節點分配的內存少,yarn kill了spark application。

給yarn-site.xml增加配置:

<property>
    		<name>yarn.nodemanager.pmem-check-enabled</name>
    		<value>false</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-check-enabled</name>
    		<value>false</value>
	</property>

重啓hadoop。然後再重新提交spark application即可。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章