高效的CI/CD環境能獲得什麼呢？
- 及時發現問題：提早得到集成反饋和修復
- 大幅度減少故障率：業務流程化，減少人工出錯風險
- 加快迭代速度：可以在幾分鐘內運行幾十次、甚至上百次持續集成
- 減少時間成本：多項目管理及繁瑣的部署工作沒有了，不必再花費一定時間去準備
- 研發端到端流水線，一鍵部署，應用彈性伸縮，灰度發佈
要想做到一個高效的CI/CD流程，需要有能力整合DevOps工具鏈及多環境適配，並且設計之初以自動化爲原則，如一鍵部署、一鍵升級。
發佈流程設計
1. 開發語言：Java
2. 項目代碼版本管理：Git
3. 代碼編譯：Maven
4. 持續集成：Jenkins
5. 交付：以Docker鏡像形式交付，提交至Harbor
6. 部署：Docker主機創建容器
環境規劃如下：
| 角色 | IP |
|---|---|
| Docker | 192.168.30.128 |
| Jenkins | 192.168.30.129 |
| Git | 192.168.30.130 |
工作流程：
- 開發人員提交代碼到Git版本倉庫；
- Jenkins人工/定時觸發項目構建；
- Jenkins拉取代碼、代碼編譯、打包鏡像、推送到鏡像倉庫；
- Jenkins在Docker主機創建容器併發布。
部署Git倉庫
首先部署一個Git倉庫，存儲測試的代碼，這裏選擇solo博客程序做測試：https://github.com/b3log/solo 。該步驟在 192.168.30.130 上執行。
- 安裝Git：
# yum install -y git
- 創建Git用戶並設置密碼：
# useradd git
# passwd git
- 創建倉庫：
# su - git
# mkdir solo.git
# cd solo.git
# git init --bare #創建裸倉庫
# vim config #添加用戶，否則commit報錯
[user]
name = lzx
email = [email protected]
- 上傳項目到倉庫：
拉取代碼
# git clone https://github.com/b3log/solo.git
添加私有倉庫地址
# cd solo/
# git remote remove origin
# git remote add origin [email protected]:/home/git/solo.git
提交到私有倉庫
# git add .
# git commit -m "all"
# git push origin master
部署Harbor鏡像倉庫
之前部署過，此處省略，參考這裏：部署Harbor
安裝Docker
需要安裝Docker及配置Java環鏡。 該步驟在 192.168.30.128 上執行。
- 安裝依賴包：
# yum install -y yum-utils device-mapper-persistent-data lvm2
- 添加Docker軟件包源：
# curl http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -o /etc/yum.repos.d/docker.repo
- 安裝Docker CE：
# yum install -y docker-ce
- 啓動並開機啓動：
# systemctl start docker && systemctl enable docker
- 安裝Java和Maven環境：
# tar zxf jdk-8u191-linux-x64.tar.gz && /usr/local/jdk1.8.0_191/ /usr/local/jdk
# wget http://mirrors.shu.edu.cn/apache/maven/maven-3/3.6.0/binaries/apache-maven-3.6.0-bin.tar.gz
# tar zxf apache-maven-3.6.0-bin.tar.gz && mv apache-maven-3.6.0 /usr/local/maven
# vim /etc/profile
MAVEN_HOME=/usr/local/maven
JAVA_HOME=/usr/local/jdk
PATH=$PATH:/$JAVA_HOME/bin:$MAVEN_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME PATH CLASSPATH
# source !$
- 授權Docker主機免密登陸Git倉庫：
# ssh-keygen
# ssh-copy-id [email protected]
# ssh [email protected] #測試登錄
安裝Jenkins
基於CentOS鏡像構建Jenkins鏡像，同時將安裝jdk、maven。該步驟在 192.168.30.129 上執行。
- 編輯Dockerfile：
# vim Dockerfile-java
FROM centos:latest
MAINTAINER lzx [email protected]
RUN yum install -y wget vim curl unzip iproute net-tools && \
yum clean all && \
rm -rf /var/cache/yum/*
ADD jdk-8u191-linux-x64.tar.gz /usr/local/
RUN mv /usr/local/jdk1.8.0_191/ /usr/local/jdk && \
wget http://mirrors.shu.edu.cn/apache/tomcat/tomcat-8/v8.5.39/bin/apache-tomcat-8.5.39.tar.gz && \
tar zxf apache-tomcat-8.5.39.tar.gz && \
mv apache-tomcat-8.5.39 /usr/local/tomcat && \
wget http://mirrors.shu.edu.cn/apache/maven/maven-3/3.6.0/binaries/apache-maven-3.6.0-bin.tar.gz && \
tar zxf apache-maven-3.6.0-bin.tar.gz && \
mv apache-maven-3.6.0 /usr/local/maven && \
wget http://mirrors.jenkins.io/war-stable/latest/jenkins.war && \
rm -rf /usr/local/tomcat/webapps/* && \
unzip jenkins.war -d /usr/local/tomcat/webapps/ROOT && \
rm -rf jenkins.war jdk-* apache-*
ENV JAVA_HOME /usr/local/jdk
ENV JRE_HOME /usr/local/jdk/jre
ENV CATALINA_HOME /usr/local/tomcat
ENV MAVEN_HOME /usr/local/maven
ENV CLASSPATH $JAVA_HOME/lib:$JRE_HOME/lib:$JRE_HOME/lib/charsets.jar
ENV PATH $PATH:$JAVA_HOME/bin:$CATALINA_HOME/bin:$CATALINA_HOME/lib:$MAVEN_HOME/bin
WORKDIR /usr/local/tomcat
EXPOSE 8080
CMD ["catalina.sh","run"]
- Docker構建Jenkins鏡像:
# docker build -t jenkins-2.164 -f Dockerfile-java .
- 啓動Jenkins：
# docker run -d -p 8080:8080 --name jenkins jenkins-2.164:latest
啓動完打開網頁訪問192.168.30.129:8080，安裝推薦插件，設置賬戶密碼。
- 添加憑據：
系統管理 → 憑據配置 → 憑據 → Jenkins → 全局憑據 → 添加憑據
- 新建節點：
系統管理 → 節點管理 → 新建節點
標籤請注意不要填錯，用於識別哪一個slave執行任務。
- 新建任務：
新建任務 → 流水線 ，名稱任意。
- Jenkinsfile 如下：
node ("192.168.30.128") { #指定slave標籤
#拉取代碼
stage('Git Checkout') {
checkout([$class: 'GitSCM',branches: [[name: '$Tag']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[url: '[email protected]:/home/git/solo.git']]])
} #$Tag引用用戶交互輸入的tag
#代碼編譯
stage('Maven Build') {
sh '''
export JAVA_HOME=/usr/local/jdk
/usr/local/maven/bin/mvn clean package -Dmaven.test.skip=true
'''
}
#項目打包到鏡像並推送到鏡像倉庫
stage('Build and Puah Image') {
sh '''
docker login -u admin -p Harbor12345 harbor.uqp.com
REPOSITORY=harbor.uqp.com/project/solo:${Tag}
cat > Dockerfile2 <<EOF
FROM harbor.uqp.com/library/tomcat-85:latest
RUN rm -rf /usr/local/tomcat/webapps/ROOT
COPY target/*.war /usr/local/tomcat/webapps/ROOT.war
CMD ["catalina.sh","run"]
EOF
docker build -t $REPOSITORY -f Dockerfile2 .
docker push $REPOSITORY
''' #根據$Tag作爲鏡像版本號
}
#部署到Docker主機
stage('Deploy to Docker') {
sh '''
REPOSITORY=harbor.uqp.com/project/solo:${Tag}
docker rm -f blog-solo | true
docker image rm $REPOSITORY | true
docker login -u amdin -p Harbor12345 harbor.uqp.com
docker container run -d -v /usr/local/jdk:/usr/local/jdk --name blog-solo -p 88:8080 $REPOSITORY
'''
}
}
發佈測試：
- Git倉庫模擬提交代碼創建tag：
# cd solo/
# touch src/main/webapp/123.txt
# git add .
# git commit -m "touch 123.txt"
# git tag 1.0.0
# git push origin 1.0.0
- Jenkins上執行任務：
帶參數執行構建
- 到Docker主機上查看：
# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
386b2097e507 harbor.uqp.com/project/solo:1.0.0 "catalina.sh run" 3 minutes ago Exited (255) 2 minutes ago blog-solo
容器ID與Jenkins上一致，但意外退出，查看原因
# docker logs 38
[ERROR]-[2019-03-26 16:41:47]-[org.b3log.latke.Latkes:786]: Read skin [Pinghsu]'s configuration failed: null
[ERROR]-[2019-03-26 16:41:47]-[org.b3log.solo.SoloServletListener:316]: Can't load the default skins, please make sure skin [Pinghsu] is under skins directory and structure correctly
提示皮膚配置爲空，因此容器啓動不起來。整個過程中，maven構建這一步可能有誤，但jenkins執行過程中未報錯；也有可能是b3log官方倉庫有問題。
- 查看harbor是否有對應鏡像：
對應業務的docker鏡像已經上傳到harbor中。
大致過程是沒有問題的，基本上可以實現業務基於Jenkins與Docker的自動化發佈。後續有空再更新優化maven過程。作爲自動化CI/CD流水線還是有很多優點的，例如：
- 項目發佈可視化，明確階段，方便處理問題；
- 一個Jenkinsfile文件就可以管理整個項目生命週期；
- 代碼版本管理方便，版本發佈、回退一鍵完成。