我們在上篇文章中已經記錄了 如果 安裝spark on k8s模式k8s原生方式—cluster mode。
hadoop組件—spark實戰----spark on k8s模式k8s原生方式安裝spark2.4.4 cluster mode
本章記錄 cluster mode這種方式的spark集羣使用方法。
首先注意 提交spark命令需要藉助 spark的安裝包中的spark-submit命令。
如果沒有的話 可以去官網下載
下載官方編譯好的包
進入到官網下載地址，選擇我們需要的包
備用下載地址 http://mirror.bit.edu.cn/apache/spark/
下載到安裝包後解壓
tar -xzvf spark-2.4.4-bin-hadoop2.7.tgz
Native 模式簡而言之就是將 Driver 和 Executor Pod 化，用戶將之前向 YARN 提交 Spark 作業的方式提交給 Kubernetes 的 apiserver，提交命令如下：