Jenkins與Docker的自動化CI/CD

高效的CI/CD環境能獲得什麼呢？

及時發現問題：提早得到集成反饋和修復
大幅度減少故障率：業務流程化，減少人工出錯風險
加快迭代速度：可以在幾分鐘內運行幾十次、甚至上百次持續集成
減少時間成本：多項目管理及繁瑣的部署工作沒有了，不必再花費一定時間去準備
研發端到端流水線，一鍵部署，應用彈性伸縮，灰度發佈
要想做到一個高效的CI/CD流程，需要有能力整合DevOps工具鏈及多環境適配，並且設計之初以自動化爲原則，如一鍵部署、一鍵升級。

發佈流程設計

 

1. 開發語言：Java
2. 項目代碼版本管理：Git
3. 代碼編譯：Maven
4. 持續集成：Jenkins
5. 交付：以Docker鏡像形式交付，提交至Harbor
6. 部署：Docker主機創建容器

環境規劃如下：

角色	IP
Docker	192.168.30.128
Jenkins	192.168.30.129
Git	192.168.30.130

工作流程：

1. 開發人員提交代碼到Git版本倉庫；
2. Jenkins人工/定時觸發項目構建；
3. Jenkins拉取代碼、代碼編譯、打包鏡像、推送到鏡像倉庫；
4. Jenkins在Docker主機創建容器併發布。
    

 

部署Git倉庫

首先部署一個Git倉庫，存儲測試的代碼，這裏選擇solo博客程序做測試：https://github.com/b3log/solo 。該步驟在 192.168.30.130 上執行。

• 安裝Git：

# yum install -y git

• 創建Git用戶並設置密碼：

useradd git

passwd git

• 創建倉庫：

su - git

mkdir solo.git

cd solo.git

git init --bare           #創建裸倉庫

vim config                #添加用戶，否則commit報錯
[user]
        name = lzx
        email = [email protected]

• 上傳項目到倉庫：

拉取代碼

git clone https://github.com/b3log/solo.git

 添加私有倉庫地址

cd solo/

git remote remove origin

git remote add origin [email protected]:/home/git/solo.git

提交到私有倉庫

git add .

git commit -m "all"

git push origin master

部署Harbor鏡像倉庫

之前部署過，此處省略，參考這裏：部署Harbor

需要安裝Docker及配置Java環鏡。 該步驟在 192.168.30.128 上執行。

• 安裝依賴包：

yum install -y yum-utils device-mapper-persistent-data lvm2

 

curl http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -o /etc/yum.repos.d/docker.repo  

• 添加Docker軟件包源： 
• 安裝Docker CE： 

yum install -y docker-ce

• 啓動並開機啓動：

systemctl start docker && systemctl enable docker

 

• 安裝Java和Maven環境：

tar zxf jdk-8u191-linux-x64.tar.gz && mv jdk1.8.0_191/ /usr/local/jdk

wget http://mirrors.shu.edu.cn/apache/maven/maven-3/3.6.0/binaries/apache-maven-3.6.0-bin.tar.gz

tar zxf apache-maven-3.6.0-bin.tar.gz && mv apache-maven-3.6.0/ /usr/local/maven

vim /etc/profile
----
MAVEN_HOME=/usr/local/maven
JAVA_HOME=/usr/local/jdk
PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME PATH CLASSPATH

source !$

• 授權Docker主機免密登陸Git倉庫：

ssh-keygen

ssh-copy-id [email protected]

ssh [email protected]            #測試登錄

 

安裝Jenkins

基於CentOS鏡像構建Jenkins鏡像，同時將安裝jdk、maven。該步驟在 192.168.30.129 上執行。

• 編輯Dockerfile：

# vim Dockerfile-java

FROM centos:latest
MAINTAINER lzx  [email protected]

RUN yum install -y wget vim curl unzip iproute net-tools && \
    yum clean all && \
    rm -rf /var/cache/yum/*

ADD jdk-8u191-linux-x64.tar.gz /usr/local/
RUN mv /usr/local/jdk1.8.0_191/ /usr/local/jdk && \
    wget http://mirrors.shu.edu.cn/apache/tomcat/tomcat-8/v8.5.39/bin/apache-tomcat-8.5.39.tar.gz && \
    tar zxf apache-tomcat-8.5.39.tar.gz && \
    mv apache-tomcat-8.5.39 /usr/local/tomcat && \
    wget http://mirrors.shu.edu.cn/apache/maven/maven-3/3.6.0/binaries/apache-maven-3.6.0-bin.tar.gz && \
    tar zxf apache-maven-3.6.0-bin.tar.gz && \
    mv apache-maven-3.6.0 /usr/local/maven && \
    wget http://mirrors.jenkins.io/war-stable/latest/jenkins.war && \
    rm -rf /usr/local/tomcat/webapps/* && \
    unzip jenkins.war -d /usr/local/tomcat/webapps/ROOT && \
    rm -rf jenkins.war jdk-* apache-*
ENV JAVA_HOME /usr/local/jdk
ENV JRE_HOME /usr/local/jdk/jre
ENV CATALINA_HOME /usr/local/tomcat
ENV MAVEN_HOME /usr/local/maven
ENV CLASSPATH $JAVA_HOME/lib:$JRE_HOME/lib:$JRE_HOME/lib/charsets.jar

ENV PATH $PATH:$JAVA_HOME/bin:$CATALINA_HOME/bin:$CATALINA_HOME/lib:$MAVEN_HOME/bin
WORKDIR /usr/local/tomcat
EXPOSE 8080
CMD ["catalina.sh","run"]

• Docker構建Jenkins鏡像：

docker build -t jenkins-2.164 -f Dockerfile-java .

docker run -d -p 8080:8080 --name jenkins jenkins-2.164:latest

 

• 啓動Jenkins：

啓動完打開網頁訪問192.168.30.129:8080，安裝推薦插件，設置賬戶密碼。

• 添加憑據：

系統管理 → 憑據配置 → 憑據 → Jenkins → 全局憑據 → 添加憑據

• 新建節點：

系統管理 → 節點管理 → 新建節點

標籤請注意不要填錯，用於識別哪一個slave執行任務。

• 新建任務：

新建任務 → 流水線 ，名稱任意。

Jenkinsfile 如下：
 

node ("192.168.30.128") {        #指定slave標籤
#拉取代碼
stage('Git Checkout') {
    checkout([$class: 'GitSCM',branches: [[name: '$Tag']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[url: '[email protected]:/home/git/solo.git']]])
}       #$Tag引用用戶交互輸入的tag

#代碼編譯
stage('Maven Build') {
    sh '''
    export JAVA_HOME=/usr/local/jdk
    /usr/local/maven/bin/mvn clean package -Dmaven.test.skip=true
    '''
}

#項目打包到鏡像並推送到鏡像倉庫
stage('Build and Puah Image') {
    sh '''
    docker login -u admin -p Harbor12345 harbor.uqp.com
    REPOSITORY=harbor.uqp.com/project/solo:${Tag}
    cat > Dockerfile2 <<EOF
    FROM harbor.uqp.com/library/tomcat-85:latest
    RUN rm -rf /usr/local/tomcat/webapps/ROOT
    COPY target/*.war /usr/local/tomcat/webapps/ROOT.war
    CMD ["catalina.sh","run"]
EOF
    docker build -t $REPOSITORY -f Dockerfile2 . 
    docker push $REPOSITORY
    '''             #根據$Tag作爲鏡像版本號
}

#部署到Docker主機
stage('Deploy to Docker') {
    sh '''
    REPOSITORY=harbor.uqp.com/project/solo:${Tag}
    docker rm -f blog-solo | true
    docker image rm $REPOSITORY | true
    docker login -u amdin -p Harbor12345 harbor.uqp.com
    docker container run -d -v /usr/local/jdk:/usr/local/jdk --name blog-solo -p 88:8080 $REPOSITORY
    '''
}
}

發佈測試：

• Git倉庫模擬提交代碼創建tag：

# cd solo/

# touch src/main/webapp/123.txt

# git add .

# git commit -m "touch 123.txt"

# git tag 1.0.0

# git push origin 1.0.0

 

• Jenkins上執行任務：

帶參數執行構建

• 到Docker主機上查看：

# docker ps -a
CONTAINER ID        IMAGE                                COMMAND             CREATED             STATUS                       PORTS                  NAMES
386b2097e507        harbor.uqp.com/project/solo:1.0.0    "catalina.sh run"   3 minutes ago       Exited (255) 2 minutes ago                          blog-solo

 容器ID與Jenkins上一致，但意外退出，查看原因

# docker logs 38

[ERROR]-[2019-03-26 16:41:47]-[org.b3log.latke.Latkes:786]: Read skin [Pinghsu]'s  configuration failed: null
[ERROR]-[2019-03-26 16:41:47]-[org.b3log.solo.SoloServletListener:316]: Can't load the default skins, please make sure skin [Pinghsu] is under skins directory and structure correctly

 

提示皮膚配置爲空，因此容器啓動不起來。整個過程中，maven構建這一步可能有誤，但jenkins執行過程中未報錯；也有可能是b3log官方倉庫有問題。

查看harbor是否有對應鏡像：

對應業務的docker鏡像已經上傳到harbor中。

大致過程是沒有問題的，基本上可以實現業務基於Jenkins與Docker的自動化發佈。後續有空再更新優化maven過程。作爲自動化CI/CD流水線還是有很多優點的，例如：

1. 項目發佈可視化，明確階段，方便處理問題；
2. 一個Jenkinsfile文件就可以管理整個項目生命週期；
3. 代碼版本管理方便，版本發佈、回退一鍵完成。