主要是給節點分配的內存少,yarn kill了spark application。
給yarn-site.xml增加配置:
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
重啓hadoop。然後再重新提交spark application即可。