GitLab Runner部署(kubernetes環境)

歡迎訪問我的GitHub

https://github.com/zq2599/blog_demos
內容：所有原創文章分類彙總及配套源碼，涉及Java、Docker、Kubernetes、DevOPS等；

關於GitLab CI

如下圖所示，開發者將代碼提交到GitLab後，可以觸發CI腳本在GitLab Runner上執行，通過編寫CI腳本我們可以完成很多使用的功能：編譯、構建、生成docker鏡像、推送到私有倉庫等：

本次實戰內容

今天咱們會一起完成以下操作：

1. 部署minio，pipeline腳本中的cache功能由minio來實現；
2. 配置和部署GitLab Runner；
3. 編寫和運行pipeline腳本；

環境和版本信息

本次實戰涉及到多個服務，下面給出它們的版本信息供您參考：

1. GitLab：Community Edition 13.0.6
2. GilLab Runner：13.1.0
3. kubernetes：1.15.3
4. Harbor：1.1.3
5. Minio：2020-06-18T02:23:35Z
6. Helm：2.16.1

需要提前準備好的服務

以下服務需要您在實戰前提前準備好：

1. 部署好GitLab，參考《羣暉DS218+部署GitLab》
2. 部署好Harbor，參考《羣暉DS218+部署Harbor(1.10.3)》
3. 部署好Helm，參考《部署和體驗Helm(2.16.1版本)》

準備完畢後開始實戰；

部署minio

minio作爲一個獨立的服務部署，我將用docker部署在服務器：192.168.50.43

1. 在宿主機準備兩個目錄，分別存儲minio的配置和文件，執行以下命令：

mkdir -p /var/services/homes/zq2599/minio/gitlab_runner \
&& chmod -R 777 /var/services/homes/zq2599/minio/gitlab_runner \
&& mkdir -p /var/services/homes/zq2599/minio/config \
&& chmod -R 777 /var/services/homes/zq2599/minio/config

2. 執行docker命令創建minio服務，指定服務端口是9000，並且指定了access key(最短三位)和secret key(最短八位)：

sudo docker run -p 9000:9000 --name minio \
-d --restart=always \
-e "MINIO_ACCESS_KEY=access" \
-e "MINIO_SECRET_KEY=secret123456" \
-v /var/services/homes/zq2599/minio/gitlab_runner:/gitlab_runner \
-v /var/services/homes/zq2599/minio/config:/root/.minio \
minio/minio server /gitlab_runner

3. 瀏覽器訪問，輸入access key和secret key後登錄成功：
   
4. 如下圖，點擊紅框中的圖標，創建一個bucket，名爲runner：
   
5. 至此，minio已備好，接下來在kubernetes環境部署GitLab Runner；

GitLab Runner的類型

從使用者的維度來看，GitLab Runner的類型分爲shared和specific兩種：

1. 如果您想創建的GitLab Runner給所有GitLab倉庫使用，就要創建shared類型；
2. 如果您的GitLab Runner只用於給某個固定的Gitlab倉庫，就要創建specific類型；

今天的實戰，我們創建的是specific類型，即先有GitLab代碼倉庫，然後創建該倉庫專用的runner，所以請您提前準備好GitLab倉庫；

準備GitLab配置信息(specific)

在部署GitLab Runner之前，要準備兩個關鍵的配置信息，以便GitLab Runner啓動後可以順利連接上GitLab：

1. 瀏覽器訪問GitLab，打開用來做CI的代碼倉庫，點擊Settings -> CI/CD -> Runners -> Expand：
   
2. 如下圖，紅框1中是gitlab url，紅框2中是registration token，記好這兩個參數，稍後會用到：
   

準備GitLab配置信息(shared)

本次實戰不會創建shared類型的runner，如果您要創建該類型runner，只需按照以下方法準備信息即可，創建出來的runner就是所有倉庫都能使用的了：

1. 以管理員身份登錄GitLab；
2. 按照下圖紅框的順序取得gitlab url和registration token：
   

部署RitLab Runner

1. 請確保當前可以通過kubectl命令在kubernetes進行常規操作；
2. 創建名爲gitlab-runner的namespace：

kubectl create namespace gitlab-runner

3. 創建一個secret，把minio的access key和secret key存進去，在後面配置cache的時候會用到：

kubectl create secret generic s3access \
--from-literal=accesskey="access" \
--from-literal=secretkey="secret123456" -n gitlab-runner

4. 用helm部署GitLab Runner之前，先把chart的倉庫添加到helm的倉庫列表中：

helm repo add gitlab https://charts.gitlab.io

5. 下載GitLab Runner的chart：

helm fetch gitlab/gitlab-runner

6. 當前目錄會多出一個文件gitlab-runner-0.18.0.tgz，解壓：

tar -zxvf gitlab-runner-0.18.0.tgz

7. 解壓後是名爲gitlab-runner的文件夾，內容如下圖所示，接下來要修改裏面的三個文件：
   
8. 打開values.yaml，裏面有四處需要修改：
9. 第一處，找到已被註釋掉的gitlabUrl參數位置，添加gitlabUrl的配置，其值就是前面在GitLab網頁取得的gitlab url參數，如下圖紅框：
   
10. 第二處，找到已被註釋掉的runnerRegistrationToken參數位置，添加runnerRegistrationToken的配置，其值就是前面在GitLab網頁取得的registration token參數，如下圖紅框：
    
11. 找到rbac的配置，將create和clusterWideAccess的值都改成true(創建RBAC、創建容器gitlab-bastion用於管理job的容器)：
    
12. 設置此GitLab Runner的tag爲k8s，在pipeline腳本中可以通過指定tag爲k8s，這樣pipeline就會在這個Gitlab Runner上允許：
    
13. 找到cache的配置，在修改之前，cache的配置如下圖，可見值爲空內容的大括號，其餘信息全部被註釋了：
    
14. 修改後的cache配置如下圖，紅框1中原先的大括號已去掉，紅框2中的是去掉了註釋符號，內容不變，紅框3中填寫的是minio的訪問地址，紅框4中的是去掉了註釋符號，內容不變：
    
15. 上圖紅框4中的s3CacheInsecure參數等於false表示對minio的請求爲http(如果是true就是https)，但實際證明，當前版本的chart中該配置是無效的，等到運行時還是會以https協議訪問，解決此問題的方法是修改templates目錄下的_cache.tpl文件，打開此文件，找到下圖紅框中的內容：
    
16. 將上圖紅框中的內容替換成下面紅框中的樣子，即刪除原先的if判斷和對應的end這兩行，直接給CACHE_S3_INSECURE賦值：
    
17. 接下來要修改的是templates/configmap.yaml文件，在這裏面將宿主機的docker的sock映射給runner executor，這樣job中的docker命令就會發到宿主機的docker daemon上，由宿主機來執行，打開templates/configmap.yaml，找到下圖位置，我們要在紅框1和紅框2之間添加一段內容：
    
18. 要在上圖紅框1和紅框2之間添加的內容如下：

cat >>/home/gitlab-runner/.gitlab-runner/config.toml <<EOF
            [[runners.kubernetes.volumes.host_path]]
              name = "docker"
              mount_path = "/var/run/docker.sock"
              read_only = true
              host_path = "/var/run/docker.sock"
    EOF

19. 添加上述內容後，整體效果如下，紅框中就是新增內容：
    
20. 修改完畢，回到values.yam所在目錄，執行以下命令即可創建GitLab Runner：

helm install \
--name-template gitlab-runner \
-f values.yaml . \
--namespace gitlab-runner

21. 檢查pod是否正常：
    
22. 看pod日誌也並未發現異常：
    
23. 回到GitLab的runner頁面，可見新增一個runner：
    
    至此，整個GitLab CI環境已部署完畢，接下來簡單的驗證環境是否OK；

驗證

1. 在GitLab倉庫中，增加名爲.gitlab-ci.yml的文件，內容如下：

# 設置執行鏡像
image: busybox:latest

# 整個pipeline有兩個stage
stages:
- build
- test

# 定義全局緩存，緩存的key來自分支信息，緩存位置是vendor文件夾
cache:
  key: ${CI_COMMIT_REF_SLUG}
  paths:
  - vendor/

before_script:
  - echo "Before script section"

after_script:
  - echo "After script section"

build1:
  stage: build
    tags:
  - k8s
  script:
    - echo "將內容寫入緩存"
    - echo "build" > vendor/hello.txt

test1:
  stage: test
  script:
    - echo "從緩存讀取內容"
    - cat vendor/hello.txt

2. 提交上述腳本到GitLab，如下圖，可見pipeline會被觸發，狀態爲pending是因爲正在等待runner創建executor pod：
   
3. 稍後就會執行成功，點開看結果：
   
4. 點開build1的圖標，可見此job的輸出信息：
   
5. 點開test1的圖標，可見對應的控制檯輸出，上一個job寫入的數據被成功讀取：
   
   至此，GitLab Runner已經成功在kubernetes環境部署和運行，接下來的文章，我們會一起實戰將SpringBoot應用構建成docker鏡像並推送到Harbor；

歡迎關注我的公衆號：程序員欣宸