K8S的StorageClass實戰(NFS)

關於StorageClass

在K8S環境，當pod需要存儲空間時，StorageClass比PV更靈活和方便，官方文檔地址：https://kubernetes.io/docs/concepts/storage/persistent-volumes/

本次實戰

本次實戰的目標是快速創建NFS類型的StorageClass，並驗證該StorageClass正常可用，全文由以下部分組成：

1. 創建StorageClass；
2. 通過helm下載tomcat的chart；
3. 修改chart，讓tomcat使用剛纔創建的StorageClass；
4. 在NFS服務端檢查文件夾已正常寫入；

環境信息和準備工作

以下是創建StorageClass必備的環境信息：

1. Kubernetes：1.15
2. Kubernetes宿主機：CentOS Linux release 7.7.1908
3. NFS服務：IP地址192.168.50.135，文件夾/volume1/nfs-storageclass-test

參考文章

如果您想了解Kubernetes和NFS搭建的更多信息，請參考：

1. 《kubespray2.11安裝kubernetes1.15》
2. 《Ubuntu16環境安裝和使用NFS》
3. 《K8S使用羣暉DS218+的NFS》

如果您已經準備好了kubernetes和NFS，咱們就開始實戰吧；

如何創建StorageClass

把創建StorageClass要做的的事情理清楚：

1. 創建namespace，這裏用hello-storageclass（您也可以選用自己喜歡的）；
2. 創建rbac：因爲StorageClass有對應的pod要運行，每個pod都有自己的身份即serviceaccount，而這個serviceaccount是和某個角色綁定的，所以要創建：serviceaccount、rule、rolebinding；
3. 創建provisioner，即關聯NFS的工作類，負責給PVC提供存儲資源，這裏用的是nfs-client-provisioner；
4. 創建StorageClass，所有需要PVC通過該StorageClass即可獲得存儲空間；

接下來請SSH登錄kubernetes環境，按照上述步驟操作；

創建StorageClass

1. 創建namespace：kubectl create namespace hello-storageclass
2. 創建rbac的腳本直接從我的github下載吧，地址：https://raw.githubusercontent.com/zq2599/blog_demos/master/storageclass-demo/rbac.yaml
3. 下載的rbac.yaml文件中，namespace是kafka-test，現在要替換成hello-storages，執行命令替換：sed -i ‘s/kafka-test/hello-storageclass/’ rbac.yaml
4. 創建rbac：kubectl apply -f rbac.yaml
5. 創建provisioner的腳本也從我的github下載，地址：https://raw.githubusercontent.com/zq2599/blog_demos/master/storageclass-demo/deployment.yaml
6. 下載的deployment.yaml文件中，namespace是kafka-test，現在要替換成hello-storages，執行命令替換：sed -i ‘s/kafka-test/hello-storageclass/’ deployment.yaml
7. 打開deployment.yaml，設置NFS參數，修改下圖紅框的四個參數，紅框1和3都是NFS server地址，紅框2和4都是NFS分配的文件夾目錄，請您按照實際的NFS資源來設置：
   
8. 創建provisioner：kubectl apply -f deployment.yaml
9. 強烈建議用kubectl describe pod xxxxxx -n hello-storageclass和kubectl logs -f xxxxxx -n hello-storageclass命令查看provisioner是否成功創建，下圖是我曾經遇到的問題，NFS服務端權限設置有誤導致NFS無法使用：
   
10. 創建StorageClass的腳本也從我的github下載，地址：https://raw.githubusercontent.com/zq2599/blog_demos/master/storageclass-demo/class.yaml
11. 下載的class.yaml無需修改，直接使用：kubectl apply -f class.yaml
12. class.yaml中的StorageClass名爲managed-nfs-storage，後面的PVC就用這個名字去申請存儲空間；
13. 用df命令來檢查掛載情況，發現NFS的已經掛載到K8S宿主機：
    
14. 至此，StorageClass已經就緒，K8S環境中的PVC可以申請使用了，接下來通過實戰驗證應用的pod能否使用StorageClass的存儲空間；

準備工作

1. 接下來的實戰是通過helm在kubernetes部署tomcat，該tomcat所需的存儲空間是通過StorageClass分配的，請您在kubernetes上準備好helm，我這裏用的是2.16版本
2. helm的安裝和使用請參考《部署和體驗Helm(2.16.1版本)》

tomcat使用StorageClass實戰

1. 增加helm倉庫(帶有tomcat的倉庫)：helm repo add bitnami https://charts.bitnami.com/bitnami
2. 下載tomcat的chart：helm fetch bitnami/tomcat
3. chart下載成功後，當前目錄出現tomcat配置壓縮包tomcat-6.2.4.tgz，解壓：tar -zxvf tomcat-6.2.4.tgz
4. 解壓得到tomcat文件夾，進入後打開values.yaml文件，找到persistence節點，增加下圖紅框中的內容：
   
5. 在tomcat目錄下執行命令：

helm install --name-template tomcat001 -f values.yaml . --namespace hello-storageclass

6. 查看tomcat的pod和service情況，一切正常，並且端口映射到了宿主機的30300：
   
7. 瀏覽器訪問宿主機IP:30300，出現tomcat歡迎頁面：
   
8. 去NFS server檢查磁盤使用情況，如下圖，可見已分配給tomcat的PVC，並且寫入了tomcat的基本數據：
   

清理資源

本次實戰創建了各種類型的資源，使用下面的命令可以將其全部清理掉：

helm del --purge tomcat001
kubectl delete storageclass managed-nfs-storage
kubectl delete deployment nfs-client-provisioner -n hello-storageclass
kubectl delete clusterrolebinding run-nfs-client-provisioner
kubectl delete serviceaccount nfs-client-provisioner -n hello-storageclass
kubectl delete role leader-locking-nfs-client-provisioner -n hello-storageclass
kubectl delete rolebinding leader-locking-nfs-client-provisioner -n hello-storageclass
kubectl delete clusterrole nfs-client-provisioner-runner
kubectl delete namespace hello-storageclass

至此，StorageClass的創建和使用的實戰就完成了，如果您在學習kubernetes存儲相關的知識，希望本文能給您一些參考；

歡迎關注我的公衆號：程序員欣宸