hadoop組件---spark實戰----spark on k8s模式k8s原生方式安裝spark2.4.4 cluster mode

目前最新穩定版本2.4.4的官方安裝文檔

環境準備

1、使用spark2.3以上的spark版本
2、已經在運行的k8s集羣版本需要大於1.6

使用命令查詢

kubectl version

輸出爲:

zhangxiaofans-MacBook-Pro:Downloads joe$ kubectl  version
Client Version: version.Info{Major:"1", Minor:"10", GitVersion:"v1.10.2", GitCommit:"456", GitTreeState:"clean", BuildDate:"2018-05-12T04:12:47Z", GoVersion:"go1.9.6", Compiler:"gc", Platform:"darwin/amd64"}
Server Version: version.Info{Major:"1", Minor:"12", GitVersion:"v1.12.9", GitCommit:"123", GitTreeState:"clean", BuildDate:"2019-05-27T15:58:45Z", GoVersion:"go1.10.8", Compiler:"gc", Platform:"linux/amd64"}

3、擁有可以訪問k8s集羣的kubectl命令控制檯
4、執行kubectl命令的用戶需要有權限創建編輯和刪除pod。
可以使用如下命令進行是否擁有權限的查詢

kubectl auth can-i list  pods
kubectl auth can-i create pods
kubectl auth can-i edit pods
kub