上一篇文章分享瞭如何在 KubeSphere 對公共的代碼倉庫 GitHub 和鏡像倉庫 DockerHub 創建流水線，本文將繼續使用 KubeSphere，基於 Harbor 和 GitLab 創建流水線，將 Spring Boot 項目發佈至 Kubernetes。
KubeSphere 集成了 Harbor 和 GitLab，內置的 Harbor 和 GitLab 作爲可選安裝項，需在安裝前進行配置開啓安裝。用戶可以根據團隊項目的需求來安裝，方便對項目的鏡像和代碼進行管理，非常適合內網環境下的 CI/CD 流水線構建。
目的
本示例演示通過內置 GitLab 倉庫中 Spring Boot 項目的 Jenkinsfile 來創建流水線，流水線共包含 7 個階段，首先會將 GitLab 中的源碼構建成鏡像，然後推送到 Harbor 私有倉庫，最終將一個輸出 “Hello,World!” 的Web示例部署到 KubeSphere 集羣中的開發環境 (Dev) 和生產環境 (Production) ，這兩個環境在底層的 Kubernetes 是以項目 (Namespace) 爲單位進行資源隔離的。
操作示例
流水線概覽
下面的流程圖簡單說明了流水線完整的工作過程：
流程說明：
- 階段一. Checkout SCM: 拉取 GitLab 倉庫代碼
- 階段二. Unit test: 單元測試，如果測試通過了才繼續下面的任務
- 階段三. sonarQube analysis：sonarQube 代碼質量檢測
- 階段四. Build & push snapshot image: 根據行爲策略中所選擇分支來構建鏡像，並將 tag 爲
SNAPSHOT-$BRANCH_NAME-$BUILD_NUMBER推送至 Harbor (其中$BUILD_NUMBER爲 pipeline 活動列表的運行序號)。- 階段五. Push latest image: 將 master 分支打上 tag 爲 latest，並推送至 Harbor。
- 階段六. Deploy to dev: 將 master 分支部署到 Dev 環境，此階段需要審覈。
- 階段七. Push with tag: 生成 tag 並 release 到 GitLab，並推送到 Harbor。
- 階段八. Deploy to production: 將發佈的 tag 部署到 Production 環境。
基礎設置
第一步：修改 CoreDNS 配置
通過 CoreDNS 的 hosts 插件配置 KubeSphere 集羣的 DNS 服務，使集羣內部可通過 hostname 域名訪問外部服務，參考 修改系統配置 - 如何修改 CoreDNS 配置。
第二步：上傳基礎鏡像到 Harbor
參考 如何上傳基礎鏡像到 Harbor 導入預先準備好的基礎鏡像 java:openjdk-8-jre-alpine。
創建憑證
使用項目普通用戶 project-regular 登錄 KubeSphere，進入已創建的 DevOps 工程，開始創建憑證。
1、本示例代碼倉庫中的 Jenkinsfile 需要用到 Harbor、GitLab 和 Kubernetes (kubeconfig 用於訪問接入正在運行的 Kubernetes 集羣) 等一共 3 個憑證 (credentials) ，參考 創建憑證 依次創建這三個憑證。
2、然後參考 訪問 SonarQube 並創建 Token，創建一個 Java 的 Token 並複製。
3、最後在 KubeSphere 中進入 devops-demo 的 DevOps 工程中，與上面步驟類似，在 憑證 下點擊 創建，創建一個類型爲 祕密文本 的憑證，憑證 ID 命名爲 sonar-token，密鑰爲上一步複製的 token 信息，完成後點擊 確定。
至此，4 個憑證已經創建完成，下一步需要在示例倉庫中的 jenkinsfile 修改對應的四個憑證 ID 爲用戶自己創建的憑證 ID。
修改 Jenkinsfile
第一步：進入項目
- 根據前提條件中的要求，現應已按照 安裝 GitLab 要求正確將 GitHub 中的
devops-java-sample導入到GitLab中。
注：若因網絡限制，無法從 GitHub 導入，請自行 clone 至其他服務器，然後上傳至 GitLab 倉庫，倉庫名稱請保持一致。
- 點擊項目進入。
第二步：修改 Jenkinsfile
1、在 根目錄 進入 Jenkinsfile-on-prem。
2、在 GitLab UI 點擊編輯 Edit，需要修改如下環境變量 (environment) 的值。
| 修改項 | 值 | 含義 |
|---|---|---|
| HARBOR_CREDENTIAL_ID | harbor-id | 填寫創建憑證步驟中的 Harbor 憑證 ID，用於登錄您的 Harbor 倉庫 |
| GITLAB_CREDENTIAL_ID | gitlab-id | 填寫創建憑證步驟中的 GitLab 憑證 ID，用於推送 tag 到 GitLab 倉庫 |
| KUBECONFIG_CREDENTIAL_ID | demo-kubeconfig | kubeconfig 憑證 ID，用於訪問接入正在運行的 Kubernetes 集羣 |
| REGISTRY | harbor.devops.kubesphere.local:30280 | 默認爲 Harbor 域名，用於鏡像的推送 |
| HARBOR_NAMESPACE | library | 默認爲 Harbor 下的 library 項目，可根據實際情況更改項目名稱 |
| GITLAB_ACCOUNT | admin1 | GitLab用戶，默認爲admin1 |
| APP_NAME | devops-docs-sample | 應用名稱 |
| SONAR_CREDENTIAL_ID | sonar-token | 填寫創建憑證步驟中的 sonarQube token憑證 ID，用於代碼質量檢測 |
創建兩個項目
CI/CD 流水線會根據示例項目的 yaml 模板文件，最終將示例分別部署到 Dev 和 Production 這兩個項目 (Namespace) 環境中，項目名爲 kubesphere-sample-dev 和 kubesphere-sample-prod，這兩個項目需要預先在控制檯依次創建。
創建流水線
第一步：填寫基本信息
1、進入已創建的 DevOps 工程，選擇左側菜單欄的 流水線，然後點擊 創建。
2、在彈出的窗口中，輸入流水線的基本信息。
- 名稱：爲創建的流水線起一個簡潔明瞭的名稱，便於理解和搜索
- 描述信息：簡單介紹流水線的主要特性，幫助進一步瞭解流水線的作用
- 代碼倉庫：點擊選擇代碼倉庫，代碼倉庫需已存在 Jenkinsfile
第二步：添加 Git 倉庫
1、點擊代碼倉庫，以添加 GitLab 倉庫爲例。
2、輸入倉庫URl，默認爲http://gitlab.devops.kubesphere.local:30080/admin1/devops-java-sample.git，
注意：GitLab 中提供的 HTTP 和 SSH URI 有誤。HTTP URI 需要手動加上端口號30080，SSH URI 需要手動加上協議 ssh:// 和端口號：30090。
證書選擇之前創建的 gitlab-id。
點擊 「保存」 後進行下一步。
第三步：高級設置
完成代碼倉庫相關設置後，進入高級設置頁面，高級設置支持對流水線的構建記錄、行爲策略、定期掃描等設置的定製化，以下對用到的相關配置作簡單釋義。
1、構建設置中，勾選 丟棄舊的構建，此處的 保留分支的天數 和 保留分支的最大個數 默認爲 -1。
說明：
分支設置的保留分支的天數和保持分支的最大個數兩個選項可以同時對分支進行作用，只要某個分支的保留天數和個數不滿足任何一個設置的條件，則將丟棄該分支。假設設置的保留天數和個數爲 2 和 3，則分支的保留天數一旦超過 2 或者保留個數超過 3，則將丟棄該分支。默認兩個值爲 -1，表示不自動刪除分支。
丟棄舊的分支將確定何時應丟棄項目的分支記錄。分支記錄包括控制檯輸出，存檔工件以及與特定分支相關的其他元數據。保持較少的分支可以節省 Jenkins 所使用的磁盤空間，我們提供了兩個選項來確定應何時丟棄舊的分支：
- 保留分支的天數：如果分支達到一定的天數，則丟棄分支。
- 保留分支的個數：如果已經存在一定數量的分支，則丟棄最舊的分支。
2、默認的 腳本路徑 爲 Jenkinsfile，需要修改爲 Jenkinsfile-on-prem。
注：路徑是 Jenkinsfile 在代碼倉庫的路徑，表示它在示例倉庫的根目錄，若文件位置變動則需修改其腳本路徑。
3、在 掃描 Repo Trigger 勾選 如果沒有掃描觸發，則定期掃描，掃描時間間隔可根據團隊習慣設定，本示例設置爲 5 minutes。
說明：定期掃描是設定一個週期讓流水線週期性地掃描遠程倉庫，根據 行爲策略 查看倉庫有沒有代碼更新或新的 PR。Webhook 推送：
Webhook 是一種高效的方式可以讓流水線發現遠程倉庫的變化並自動觸發新的運行，GitHub 和 Git (如 Gitlab) 觸發 Jenkins 自動掃描應該以 Webhook 爲主，以上一步在 KubeSphere 設置定期掃描爲輔。在本示例中，可以通過手動運行流水線，如需設置自動掃描遠端分支並觸發運行，詳見 設置自動觸發掃描 - GitHub SCM。
完成高級設置後點擊 創建。
第四步：運行流水線
流水線創建後，點擊瀏覽器的 刷新 按鈕，可見一條自動觸發遠程分支後的運行記錄。
1、點擊右側 運行，將根據上一步的 行爲策略 自動掃描代碼倉庫中的分支，在彈窗選擇需要構建流水線的 master分支，系統將根據輸入的分支加載 Jenkinsfile (此示例爲根目錄下的 Jenkinsfile-on-prem)。
2、由於倉庫的 Jenkinsfile-on-prem 中 TAG_NAME: defaultValue 沒有設置默認值，因此在這裏的 TAG_NAME 可以輸入一個 tag 編號，比如輸入 v0.0.1。
3、點擊 確定，將新生成一條流水線活動開始運行。
說明: tag 用於在 GitLab 和 Harbor 中分別生成帶有 tag 的 release 和鏡像。 注意: 在主動運行流水線以發佈 release 時，TAG_NAME不應與之前代碼倉庫中所存在的tag名稱重複，如果重複會導致流水線的運行失敗。
至此，流水線 已完成創建並開始運行。
注：點擊 分支 切換到分支列表，查看流水線具體是基於哪些分支運行，這裏的分支則取決於上一步 行爲策略 的發現分支策略。
第五步：審覈流水線
爲方便演示，此處默認用當前賬戶來審覈，當流水線執行至 input 步驟時狀態將暫停，需要手動點擊 繼續，流水線才能繼續運行。注意，在 Jenkinsfile-on-prem 中分別定義了三個階段 (stage) 用來部署至 Dev 環境和 Production 環境以及推送 tag，因此在流水線中依次需要對 deploy to dev, push with tag, deploy to production這三個階段審覈 3次，若不審覈或點擊 終止 則流水線將不會繼續運行。
說明：在實際的開發生產場景下，可能需要更高權限的管理員或運維人員來審覈流水線和鏡像，並決定是否允許將其推送至代碼或鏡像倉庫，以及部署至開發或生產環境。Jenkinsfile 中的 input 步驟支持指定用戶審覈流水線，比如要指定用戶名爲 project-admin 的用戶來審覈，可以在 Jenkinsfile 的 input 函數中追加一個字段，如果是多個用戶則通過逗號分隔，如下所示：
···
input(id: 'release-image-with-tag', message: 'release image with tag?', submitter: 'project-admin,project-admin1')
···查看流水線
1、點擊流水線中 活動 列表下當前正在運行的流水線序列號，頁面展現了流水線中每一步驟的運行狀態，注意，流水線剛創建時處於初始化階段，可能僅顯示日誌窗口，待初始化 (約一分鐘) 完成後即可看到流水線。黑色框標註了流水線的步驟名稱，示例中流水線共 8 個 stage，分別在 Jenkinsfile-on-prem 中被定義。
2、當前頁面中點擊右上方的 查看日誌，查看流水線運行日誌。頁面展示了每一步的具體日誌、運行狀態及時間等信息，點擊左側某個具體的階段可展開查看其具體的日誌。日誌可下載至本地，如出現錯誤，下載至本地更便於分析定位問題。
驗證運行結果
1、若流水線執行成功，點擊該流水線下的 代碼質量，即可看到通過 sonarQube 的代碼質量檢測結果，如下圖(僅供參考)。
2、流水線最終 build 的 Docker 鏡像也將被成功地 push 到 Harbor 中，我們在 Jenkinsfile-on-prem 中已經配置過 Harbor，登錄 Harbor 查看鏡像的 push 結果，可以看到 tag 爲 snapshot、TAG_NAME(master-1)、latest 的鏡像已經被 push 到 Harbor，並且在 GitLab 中也生成了一個新的 tag 和 release。示例網站最終將以 deployment 和 service 分別部署到 KubeSphere 的 kubesphere-sample-dev 和 kubesphere-sample-prod 項目環境中。
| 環境 | 訪問地址 | 所在項目 (Namespace) | 部署 (Deployment) | 服務 (Service) |
|---|---|---|---|---|
| Dev | 公網 IP : 30861 (${EIP}:${NODEPORT}) |
kubesphere-sample-dev | ks-sample-dev | ks-sample-dev |
| Production | 公網 IP : 30961 (${EIP}:${NODEPORT}) |
kubesphere-sample-prod | ks-sample | ks-sample |
3、可通過 KubeSphere 回到項目列表，依次查看之前創建的兩個項目中的部署和服務的狀態。例如，以下查看 kubesphere-sample-prod 項目下的部署。
進入該項目，在左側的菜單欄點擊 工作負載 → 部署，可以看到 ks-sample 已創建成功。正常情況下，部署的狀態應該顯示 運行中。
4、在菜單欄中選擇 網絡與服務 → 服務 也可以查看對應創建的服務，可以看到該服務對外暴露的節點端口 (NodePort) 是 30961。
查看服務 
5、查看推送到您個人的 Harbor 中的鏡像，可以看到 devops-java-sample 就是 APP_NAME 的值，而 tag也是在 Jenkinsfile-on-prem 中定義的 tag。
訪問示例服務
在瀏覽器或通過後臺命令訪問部署到 KubeSphere Dev 和 Production 環境的服務：
Dev 環境
例如，瀏覽器訪問 http://192.168.0.20:30861/ (即 http://IP:NodePort/) 可訪問到 Hello,World! 頁面，或通過後臺命令驗證：
curl http://192.168.0.20:30861
Hello,World!Prodcution 環境
同上可訪問 http://192.168.0.20:30961/ (即 http://IP:NodePort/) 。
curl http://192.168.0.20:30961
Hello,World!KubeSphere (https://github.com/kubesphere... 是一個開源的以應用爲中心的容器管理平臺，支持部署在任何基礎設施之上，並提供簡單易用的 UI，極大減輕日常開發、測試、運維的複雜度，旨在解決 Kubernetes 本身存在的存儲、網絡、安全和易用性等痛點，幫助企業輕鬆應對敏捷開發與自動化監控運維、端到端應用交付、微服務治理、多租戶管理、多集羣管理、服務與網絡管理、鏡像倉庫、AI 平臺、邊緣計算等業務場景。