系列文章

地基

　　在軟件工程不少的思想、概念來源於建築工程，大家也喜歡把開發軟件比喻成建房子。那麼如果說運維是軟件的地基，那麼框架就是承重牆。起房子就是先打地基，再建承重牆。地基打得越穩，房子才能起得更高。也等同於運維技術越紮實，系統才能更加健壯。

　　特別在微服務興起得時代，運維越發的現得尤爲得重要，DevOps也風靡全球。只要聊起DevOps與微服務，CI/CD總是不能避免的。CI/CD不一定限制於微服務，我認爲無論在什麼樣風格的架構和怎麼樣組織架構的團隊，自動化技術越早使用收效越高。

　　我認爲IT人員更多是腦力大於體力的勞動者，一些重複的、錯誤率高的、無法對自己有增長的工作應該儘早交給自動化技術處理，節省了不需要浪費的時間與精力，這樣才能更好的去完成有價值、有意義的工作。

部署圖

　　以上是我在虛擬機環境的部署圖：

　　一共三臺服務器，每臺服務器都裝了Docker，Server B是docker swarm的Manger角色，A和C是worker。

　　在Server B裝了Jenkins、Docker Registry、dotnet sdk，Server A裝了Gitlab，Server C裝了私有Nuget。

　　那麼工作流程是：

遷入代碼push到Gitlab
Gitlab觸發webhook的push觸發事件並主動通知Jenkins構建
Jenkins在Gitlab獲取源碼並通過配置好的規則與shell腳本進行構建
- 如果是工具庫則dotnet push到192.168.88.139:8081的私有Nuget
- 如果是Web應用則通過dockerfile構建docker鏡像並push到192.168.88.141:6000的Docker Registry，然後由docker swarm create多節點

安裝Docker

安裝最新版本Docker，並在所有需要使用docker的服務器節點根據以下步驟安裝

升級yum並安裝基礎組件

yum upgrade -y

sudo yum install -y yum-utils device-mapper-persistent-data lvm2

添加安裝源信息

yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

安裝docker-ce

yum makecache fast
yum install docker-ce -y

修改鏡像源

vim /etc/docker/daemon.json
    
{
  "registry-mirrors" : [
    "http://ovfftd6p.mirror.aliyuncs.com",
    "http://registry.docker-cn.com",
    "http://docker.mirrors.ustc.edu.cn",
    "http://hub-mirror.c.163.com"
  ],
  "insecure-registries" : [
    "registry.docker-cn.com",
    "docker.mirrors.ustc.edu.cn"
  ],
  "debug" : true,
  "experimental" : true
}

啓動docker

systemctl daemon-reload
systemctl enable docker
systemctl start docker

安裝 Docker Registry（私有倉儲）

選取一個服務器-Server B使用docker安裝Registry

docker run -d -p 6000:5000 -v /root/docker_registry:/var/lib/registry --name private_registry registry

開放6000端口

firewall-cmd --permanent --add-port=6000/tcp
firewall-cmd --reload

以上就Registry安裝完成了，但爲了正常使用還需要做點配置修改

編輯所有需要docker registry使用的節點的daemon.json文件，確保能正常訪問

vim /etc/docker/daemon.json

{
"insecure-registries":["192.168.88.141:6000"]
}

重啓docker

systemctl daemon-reload
service docker restart

如果需要推送鏡像到私庫確保標籤（tag）前綴帶有私庫地址

docker push 192.168.88.141:6000/testdockerswarm

docker swarm的初始化

把相關涉及到docker swarm的節點端口開啓

firewall-cmd --permanent --zone=public --add-port=2377/tcp
firewall-cmd --permanent --zone=public --add-port=4789/udp
firewall-cmd --permanent --zone=public --add-port=7946/udp
firewall-cmd --reload

選取Server B作爲Manager節點，執行下面的指令後會出現docker swarm join的指令文本，複製保存下來

docker swarm init --advertise-addr 192.168.88.141

Server A和Server C爲Worker節點，執行剛剛保存下來指令

docker swarm join --token SWMTKN-1-0odogegq3bwui4o76aq5v05doqqvuycb5jmuckjmvzy4bfmm59-ewht2cz6fo0r39ky44uv00aq5 192.168.88.141:2377

查看節點信息

docker node ls

私有Nuget的安裝

選擇Server C基於docker的Nuget安裝

docker run -d \
           -p 8081:80 \
           --env NUGET_API_KEY=chengong \
           -v /root/nuget/database:/var/www/db \
           -v /root/nuget/packages:/var/www/packagefiles \
           --name nuget-server \
           sunside/simple-nuget-server

開放相關8081端口

firewall-cmd --permanent --add-port=8081/tcp
firewall-cmd --reload

上傳包指令，注意包名有中文會導致上傳出現bad request

dotnet nuget push --source http://192.168.88.139:8081/ -k chengong TestPackage.1.0.0.nupkg

刪除包指令

dotnet nuget delete --source http://192.168.88.139:8081/ -k chengong  TestPackage 1.0.0

如果在Windowsx系統可以通過工具上傳

https://github.com/NuGetPackageExplorer/NuGetPackageExplorer

Gitlab的安裝

在Server A服務器上基於docker安裝

sudo docker run -d \
  --hostname 192.168.88.138 \
  -p 443:443 -p 8080:80 -p 2222:22 \
  --name gitlab \
  --restart always \
  -v /root/gitlab/config:/etc/gitlab:Z \
  -v /root/gitlab/logs:/var/log/gitlab:Z \
  -v /root/gitlab/data:/var/opt/gitlab:Z \
  gitlab/gitlab-ce

開放端口

firewall-cmd --permanent --add-port=8080/tcp
firewall-cmd --reload

第一次啓動會有點慢，需要耐心的等待一下（幾分鐘），初始化完了後進入系統設置root的密碼，登錄進去我們創建兩個項目，一個Web應用，一個工具庫，等會需要用到

Jenkins的安裝

在Server B服務器基於docker安裝Jenkins

mkdir -p /root/jenkins
setenforce 0

docker run --name jenkins -u 0 -d  --restart always -v /root/jenkins/jenkins_home:/var/jenkins_home -p 8080:8080 -p 50000:50000 jenkins/jenkins:lts

開放端口

firewall-cmd --permanent --add-port=8080/tcp
firewall-cmd --reload

啓動完了後需要等待一會，我們先去查看Jenkins的docker log，我們找到下面那段密碼，在Jenkins歡迎頁輸入，設置好管理員後，選擇Custom Select，如果您對網絡有自信就直接點繼續，如果您對網絡沒自信，避免花了很長的時間還沒安裝好插件就直接啥都不選繼續。（如果出現一個XXX失敗代理的頁面直接跳過）

docer logs xxx

Please use the following password to proceed to installation:
53d4a2880bf8460c8ff61936278855ca

插件自動下載完後了，終於進去了，如果有沒有安裝成功的都得保證以下三個插件安裝好，Gitlab Hook 、Gitlab、Push Over SSH.

登錄後，在左側點擊【系統管理】，拖下去點擊【插件管理】，確保Gitlab Hook 、Gitlab、Push Over SSH成功安裝，如果無法順利安裝則到https://plugins.jenkins.io/下載插件手動上傳。

修改時區，進入Jenkins容器

docker exec -it 81 /bin/bash

執行下面命令

tzselect

4
9
1
1

cp /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime

##查看時間
date -R

在Server B安裝.Net SDK，因爲在Server B安裝了Jenkins，因此會基於Server B的環境進行.Net的應用進行打包、發佈

添加下載源：

rpm -Uvh https://packages.microsoft.com/config/centos/7/packages-microsoft-prod.rpm

下載安裝：

sudo yum install dotnet-sdk-3.1

在Server B添加私有Nuget包源，因爲在.Net Core應用 Build和Publish的時候會觸發Restore指令（還原包），默認只有微軟的nuget源，如果缺少了私有Nuget源會還原包失敗

dotnet nuget add source http://192.168.88.139:8081 -n LocalNugetServer

列出已有包源

dotnet nuget list source

當然可以通過 dotnet restore -s http://192.168.88.139:8081 指令指定還原包源，但是爲了避免如果服務地址變動後shell腳本會大面積的修改，還是建議通過dotnet nuget add soure指令。

那麼到這裏所有的關於Linux的工具安裝、初始化的準備工作都完成了，那麼接下來就是講解Jenkins結合Gitlab，把應用與工具包發佈到Nuget與Docker。

Jenkins的使用

在一切開始之前得把SSH配置好，因爲後續會使用到，在【SSH Servers】模塊把服務器地址、賬號密碼填進去保存。

返回到首頁面板點擊【新建任務】-選擇【構建一個自由風格的軟件項目】（FreeStyle Project）。

自由風格的項目更多是使用shell腳本結合相應平臺的指令實現自動化，因此建議大家對shell腳本有個初步的認識與學習，雖然Jenkins也提供了對應平臺語言的一些插件，但是隻要您熟悉了shell就會發現它的靈活性與便捷性。

接下來我們只要關注3個模塊，源碼管理、構建觸發器、構建

源碼構建，填寫您要自動發佈的項目的源碼地址，並輸入賬號密碼。

構建觸發器，這裏勾選Build when a chenge ……，把URL 複製記錄下來，等下在Gitlab需要使用到。這裏就是與Gitlab webhook做了聯動，可以理解成Jenkins開放了一個接口，讓Gitlab被push代碼後會主動告訴Jenkins做一次自動化構建。

構建，這裏其實就是執行shell腳本完成發佈。這裏得注意下我是用ssh，因爲我的Jenkins是使用了docker安裝的，如果我使用了【構建】模塊裏的【執行shell】就會在Jenkins環境裏進行編譯、打包，同時也需要安裝相應的環境例如dotnet sdk等。我的環境都是裝在了Server B這個宿主環境，因此通過目錄掛載與SSH完成了這一次構建。

當然有同學想在Jenkins環境先打包然後通過SSH的Transfers模塊進行文件傳也是可以的。

構建腳本

這個是工具庫發佈到私有Nuget的腳本

#腳本開始執行
echo '腳本開始執行'

base_path=/root/jenkins/jenkins_home/workspace/TestNuget
nuget_url=http://192.168.88.139:8081/
nuget_api_key=chengong

project_path=$base_path/TestNuget
package_path=$project_path/bin/Debug
cd $project_path

rm -rf $package_path/*.nupkg

dotnet pack $project_path &&
    dotnet nuget push --source $nuget_url -k $nuget_api_key $package_path/*.nupkg >/dev/null

if [ $? -eq 0 ]; then
    echo '發佈成功:'$project_path''
else
    echo '發佈失敗:'$project_path''
fi

echo '腳本執行結束'

下面這個是Web應用發佈到單臺服務器的腳本

#!/bin/bash
echo '腳本開始執行'

base_path=/root/jenkins/jenkins_home/workspace/TestDockerSwarm

project_name=testdockerswarm
project_path=$base_path/TestDockerSwarm
publish_path=$project_path/bin/Release/netcoreapp2.2/publish

cd $project_path
rm -rf $project_path/bin

dotnet publish -c Release && (
    cd $publish_path &&
        docker stop $project_name
    docker rm $project_name
    docker image rm $project_name
    docker build -t $project_name . &&
        docker run -d -p 5000:80 -e ASPNETCORE_ENVIRONMENT="Development" --name $project_name $project_name &&
        echo '發佈成功:'$project_path'' ||
        echo '發佈失敗:'$project_path''
) || echo '發佈失敗:'$project_path''

echo '腳本執行結束'

下面這個是通過Docker Swarm把Web應用發佈到多臺服務器

#!/bin/bash
echo '腳本開始執行'

base_path=/root/jenkins/jenkins_home/workspace/TestDockerSwarm

project_name=testdockerswarm
project_path=$base_path/TestDockerSwarm
publish_path=$project_path/bin/Release/netcoreapp2.2/publish
private_registry_url=192.168.88.141:6000
version=`date "+%Y%m%d%H%M%S"`

cd $project_path
rm -rf $project_path/bin

dotnet publish -c Release && ( 
    (
        cd $publish_path
        docker service rm testdockerswarm
        docker images | grep $private_registry_url/$project_name | awk '{print $3}' | xargs docker rmi
        docker build -t $private_registry_url/$project_name:$version ./
        docker push $private_registry_url/$project_name:$version
    ) &&
        docker service create -d -p 5000:80 --replicas 2 -e ASPNETCORE_ENVIRONMENT="Development"  --constraint=" node.role==worker" \
         --name $project_name $private_registry_url/$project_name:$version &&
        echo '發佈成功:'$project_path'' ||
        echo '發佈失敗:'$project_path''
) || echo '發佈失敗:'$project_path''

echo '腳本執行結束'

上面腳本有一處地址得注意下我指定了--constraint=" node.role==worker" 也就是woker節點纔會部署應用，因爲我定義了ServerA和C是Web服務器。當然各位可以按照自己的需要處理。

Dockerfile

FROM microsoft/dotnet:2.2-aspnetcore-runtime AS base
WORKDIR /app
EXPOSE 80

FROM base AS final
WORKDIR /app
COPY ./ /app
ENTRYPOINT ["dotnet", "TestDockerSwarm.dll"]

Gitlab的使用

進入Gitlab，點擊【Admin Area】-【Network】，勾選選項後保存

進入一個Project，點擊【Setting】-【Webhooks】，把剛剛在Jenkins的複製下來的Url填寫進去，勾選相應的觸發事件後保存。

結束

　　以上就是本篇的內容了，完成了部署後，可以在Jenkins點擊【立刻構建】和在Gitlab遷入一次代碼查看運行效果。Shell腳本作爲一個demo，如果對腳本有更好的建議和優化的寫法可以在評論區反饋給我。

.Net微服務實戰之CI/CD .Net微服務實戰之技術選型篇 .Net微服務實戰之技術架構分層篇 .Net微服務實戰之DevOps篇 .Net微服務實戰之負載均衡（上）

系列文章

地基

部署圖

安裝Docker

安裝 Docker Registry（私有倉儲）

docker swarm的初始化

私有Nuget的安裝

Gitlab的安裝

Jenkins的安裝

Jenkins的使用

構建腳本

Dockerfile

Gitlab的使用

結束

爲什麼要⽤ Foundry

【筆記】動手學深度學習-預備知識

py發送email

MySQL 分庫分表方案，總結太全了。。

Qt/C++音視頻開發71-指定mjpeg/h264格式採集本地攝像頭/存儲文件到mp4/設備推流/採集推流

WPF開源輕便、快速的桌面啓動器

公司來了個新同事，把 DDD 運用得爐火純青！

談加班與管理：加班 = 管理 + 無能？

經驗，真的是你的核心競爭力嗎？

三年，能否成爲一名真正的架構師

重新理解微服務之終究繞不過這4個坎？(觀點探討) 重新理解微服務之它還那麼純粹嗎？

十年技術進階路，讓我明白了三件要事（8000字長文）

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結