使用Jenkins配置Git+Maven的自動化構建

背景

最近安裝Jenkins,參照網上的各種資料進行嘗試,折騰了好久,但是查找了這麼多資料,相似度在90%以上!!!,相同的安裝過程,測試了幾臺機器,未曾成功,不得不感慨自己能力有限,最終慢慢摸索,形成思路,現分享給大家,希望大家在安裝的時候少走彎路。

PS:本人很痛恨那種粘貼複製,毫無思考的博主,本想着拿着解決問題的心態,但結果還是一樣,不但浪費了大家的時間,還浪費了大家的感情,所以,我把我遇到的問題和解決的方式記錄下來和大家分享。

知識背景

首先需要理解的是,Jenkins是幫我們將代碼進行統一的編譯打包、還可以放到tomcat容器中進行發佈。

意思是我們通過配置,將以前:編譯、打包、上傳、部署到Tomcat中的過程交由Jenkins,Jenkins通過給定的代碼地址URL,將代碼拉取到其“宿主服務器”(這是我個人的稱呼,在下邊會用到,就是Jenkins的安裝位置),進行編譯、打包和發佈到容器中。

因此我們可以注意到的是,在Jenkins的宿主服務器中必須要有可以進行:代碼clone(Git)、代碼編譯(Maven)、代碼運行(Tomcat)的基本環境,其他文章上來就是安裝jenkins,忽略了一些基本的配置。

下邊就開始講解各部分的安裝過程,如果已經安裝某一步的環境,則可以以此進行下一步。

一、Git的安裝

1、安裝依賴

sudo yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel gcc perl-ExtUtils-MakeMaker
  • 注意:perl-ExtUtils-MakeMaker 也是這些安裝列表中的一員,不要因爲顯示的換行造成大家認爲是兩條執行命令。

2、下載git

選擇一個目錄,存放下載的git,例如我的是:/home/xuliugen/tmp,大家可以根據需求到官網下載相應的版本

wget https://github.com/git/git/archive/v2.3.0.zip

3、解壓git

下載之後是這樣的,不要感到奇怪,直接解壓即可

這裏寫圖片描述

因爲下載的是一個zip,所以使用命令將其解壓到git目錄下:


 
  1. #參數-d 後邊的是解壓到的目錄

  2. unzip v2.3.0 -d git

4、編譯安裝git

進入git目錄

這裏寫圖片描述

將其安裝在“/usr/local/git”目錄下,命令如下:

  1. make prefix=/usr/local/git all

  2. sudo make prefix=/usr/local/git install

5、配置Git

sudo vim /etc/profile #編輯profile文件
  • 然後而已看到這個文件已經有很多配置了,只需要在最下邊添加git的路徑即可:
export PATH=/usr/local/git/bin:$PATH
  • 將這段話放在最後邊,然後使用source命令應用修改:
source /etc/profile
  •  

6、檢驗Git是否安裝成功

git --version
  •  

這裏寫圖片描述

二、Maven安裝

1、下載和解壓Maven

Maven的安裝包下載可以根據需求找到合適的版本,解壓之後,我的位置是:

這裏寫圖片描述

2、配置Maven

編輯:~/.bash_profile文件,根據註釋相應的修改即可

  1. # maven所在的目錄

  2. export M2_HOME=/home/xuliugen/software/maven/apache-maven-3.3.3

  3. # maven bin所在的目錄

  4. export M2=$M2_HOME/bin

  5. # 將maven bin加到PATH變量中

  6. export PATH=$M2:$PATH

  7. # 配置JAVA_HOME所在的目錄,注意這個目錄下應該有bin文件夾,bin下應該有java等命令

  8. export JAVA_HOME=/usr/lib/jvm/jre-1.7.0

  • 然後運行:source ~/.bash_profile 應用修改

3、查看Maven是否安裝成功

使用:mvn -version 即可查看結果

這裏寫圖片描述

三、Jenkins的部署

Jenkins的安裝很簡單,直接將war放到容器中進行運行即可

1、將jenkins放到Tomcat中並解壓,啓動Tomcat,成功啓動之後訪問ip和端口如下:

這裏寫圖片描述

啓動成功之後,進入的界面如上,表示啓動成功。

2、安裝插件

在進行配置之前,由於使用的是Git拉去代碼的方式,所以要首先安裝插件

這裏寫圖片描述

找到:插件管理 在“可選插件”界面使用ctrl+f 搜索:Deploy to Container Plugin 插件(這個是支持將代碼部署到tomcat容器的)

這裏寫圖片描述

勾選,點擊下邊的按鈕:直接安裝,這個可能時間較久,等待即可。

這裏寫圖片描述

安裝完之後,如果勾選了:安裝完成後重啓jenkins 那麼會重啓jenkins。

然後安裝:GIT plugin,何上邊的步驟一樣,如果使用上述的方式,由於網絡的原因,可能會安裝失敗,這就需要我們使用另一種方式進行安裝。

使用同樣的方式在“可選插件”中搜索GIT plugin,找到之後點擊藍色鏈接(最好右鍵在新窗口中打開,放置覆蓋jenkins界面)

這裏寫圖片描述

會跳轉到Git Plugin的插件信息地址:

這裏寫圖片描述

可以看到Plugin ID爲:git,然後在:http://updates.jenkins-ci.org/download/plugins/ 這地地方搜索(ctrl+f)即可找到,點進去,選擇一個版本進行下載:

這裏寫圖片描述

這裏寫圖片描述

點進去下載的是一個hpi文件

然後同樣的在:系統管理–管理插件–高級Tab中,下拉可以看到上傳插件,然後選擇文件上傳剛纔下載的hpi文件,即可,上傳完之後,會自動安裝。上述安裝Deploy to container Plugin的方式也可以採用這種方式。

都安裝完之後,在已安裝Tab中可以看到剛安裝的插件:

這裏寫圖片描述

3、進行配置

看到上圖中的左側有一個:系統管理 點擊去

這裏寫圖片描述

上邊的第一行黃色信息,表示編碼問題,在Tomcat–>conf–>server.xml文件中修改即可

這裏寫圖片描述

4、Jenkins系統設置

點擊:系統設置,這裏沒有強調的都設置爲默認即可

(1)JDK,別名是任意的,選擇自己jdk的位置,jenkins推薦使用sun jdk而不是openjdk

這裏寫圖片描述

(2)Git 的配置

這裏寫圖片描述

注意這裏的git位置,是可執行文件的地址,即是git–bin–下的可執行文件 git的目錄(類似於Java中bin下的java可執行文件位置)

如果填錯,後期回報無法找到git等錯誤(最下邊,其他問題下的第三個問題),請大家注意!

(3)Ant的配置

由於本次並沒有用到Ant,不做配置,大家可以根據配置進行設置

(4)Maven的配置,選擇自己maven的存放位置

這裏寫圖片描述

(5)Jenkins Location

這裏寫圖片描述

這裏配置的是ip加端口和一個路徑名稱,郵箱要進行設定,後期會發送jenkins執行的結果到郵件中

(6)郵件通知

這裏寫圖片描述

這裏我配置的QQ郵箱,大家根據情況進行設置相應的smtp服務器,用戶名、密碼分別爲自己的QQ郵箱何密碼,如果不進行設置,後期jenkins構建項目的時候會報錯,報錯信息很好理解也很好找到是沒有配置郵件的問題。

首先,要保證郵件的smtp和pop是開啓狀態的,這樣的話纔可以通過驗證:

這裏寫圖片描述

最後點擊下邊的應用、保存即可

5、Configure Global Security

然後回到系統管理,看到Configure Global Security 點擊進去,根據下邊進行配置即可

這裏寫圖片描述

點擊應用 保存之後,然後在屏幕的右上角,有一個登錄-註冊 ,點擊註冊即可實現用戶的登錄。

這裏寫圖片描述

這裏,如果是公司內網的話,或者最後搭建的jenkins是公司使用,那麼最好用戶名和密碼爲公司的賬戶密碼,郵件也是公司的郵件,這樣的話方便後期的操作。

至此Jenkins的基本配置完成。

創建Job

1、創建項目

點擊登錄之後,會看到下邊的界面中:My Views

這裏寫圖片描述

點擊進去

這裏寫圖片描述

點擊:創建一個新任務

這裏寫圖片描述

選擇maven項目,點擊OK,這裏的Item名稱是後邊需要用到的,下邊的配置也有用到這個的,大家可以很好的對應。

2、進行項目的配置

(1)源碼管理選擇Git,這個時候添加url之後,下邊會報錯,顯示讓去認證,認證即可(其他的安裝中又遇到這個問題),如果認證失敗,請下載認證Github Authentication plugin插件,這個在插件管理的可選插件中搜索安裝。

我這裏的rul是我在gitos上的一個項目,credentials是我在gitos上的用戶名和密碼認證。

這裏寫圖片描述

(2)構建觸發器,就是什麼時候執行jenkins的自動化部署

這裏寫圖片描述

選擇第一個,其他的基本是定時執行什麼的,大家可以自行查找,查看如何設置,根據需要進行配置

(3)Post Steps

這裏寫圖片描述

選擇上圖中的,然後下邊 的Execute shell如下,腳本的編寫在下邊進行了詳細的說明:

這裏寫圖片描述


 

(4)郵件通知

這裏寫圖片描述

至此基本設置完畢,點擊應用、保存

(5)立即構建

點擊左上角的立即構建

這裏寫圖片描述

然後看到下邊的Build History 點擊藍色的進去,會進入Console

這裏寫圖片描述

下邊是進行jar的下載,會下載到宿主服務器的maven倉庫中:

這裏寫圖片描述

下邊的信息表示項目編譯通過:

這裏寫圖片描述

下邊是運行腳本的信息:

這裏寫圖片描述

腳本的分析

在Jenkins的服務器上查看:

這裏寫圖片描述

這裏寫圖片描述

可以看到在/root/.jenkins這個目錄,實際存放了Jenkins拉取Git代碼之後編譯好war的位置,到此,大家也許都該明白了,編譯後的位置就在這裏啊!然後,接着是部署到宿主服務器的Tomcat容器中,如何將編譯好的war放到tomcat中,這就需要腳本來完成,也是上述過程中配置的過程,下邊對每一行進行分析。

首先我們應該明白,將編譯好的war放到tomcat容器中,我們首先要知道這兩個的位置:編譯後war的位置和目標容器的位置,很顯然我們是知道的。

1、腳本文件的頭,這個沒得說

#!/bin/bash 

2、環境變量設置


 
  1. export JAVA_HOME=/data/home/server/jdk

  2. export CATALINA_HOME=/home/xuliugen/dubbo-provider

  3. export CATALINA_BASE=/home/xuliugen/dubbo-provider

  4. export BUILD_ID=dontKillMe

上邊的各個位置,大家也許都知道,CATALINA_HOME和CATALINA_BASE的位置就是Tomcat容器的位置,這裏根據需求我將Tomcat容器的名字改爲dubbo-provider了,如果改成/home/xuliugen/tomcat是不是更好理解。

export BUILD_ID=dontKillMe這一句很重要,因爲該job啓動完後執行下一job,jenkins直接把tomcat進程殺了,所以無論腳本中怎麼寫了啓動tomcat的命令,他是不會啓動的。雖然上述截圖中顯示了Tomcat started、server restarted但是訪問項目地址是訪問不了的,這在:其他問題的第二個說明了這個問題。

3、其他路徑位置

  1. tomcat_path=/home/xuliugen/dubbo-provider #我的Tomcat位置

  2. project=dubbo-provider #我的項目編譯的名稱

  3. war_name=dubbo-provider.war #最後打包的war名稱

  4. war_path=http://132.153.131.237/:8022/jenkins/job/ManenDemo/ws/targetserver_port=8082 #宿主服務器的ip何端口

  5. file_path=~/.jenkins/jobs/ManenDemo/workspace/spring_provider/target #編譯好的war包存放地址

這個:war_path 其實也就是Jenkins的宿主服務器位置IP,端口爲jenkins運行的端口,大家只需要將ip地址端口ManenDemo換成自己的即可;

file_path:就是Jenkins幫我們編譯好的項目war的位置,上圖中大家也可以看到,並且大家不可以完全按照上邊的路徑,要找到自己宿主服務器上實際war的位置,進行設置。

4、耳熟能詳的執行命令

下邊就是我們在使用原始方式,部署war的命令,大家很簡單的可以理解,其中:

注意:個人寫腳本的能力有限,所以我是假設項目已經在運行的情況下,因此我上來就是先關閉Tomcat,(正確的方式,應該判斷端口是否打開,如果本身tomcat未啓動,我的這種情況,會在Jenkins的Console中報拒絕連接的問題,如下圖)。

這裏寫圖片描述

另外用到了sleep 3s 這個可以讓線程休眠一下,這樣的話可以看一下tomcat的日誌信息。

下邊的腳本就是刪除原來容器中的文件,然後將編譯好的war移動到容器中,解壓。運行tomcat。


 
  1. $tomcat_path/bin/shutdown.sh

  2. sleep 3s

  3. echo "rm -rf ${tomcat_path}/webapps/ROOT/*"

  4. rm -rf ${tomcat_path}/webapps/ROOT/*

  5. cd $file_path

  6. cp ${war_name} ${tomcat_path}/webapps/ROOT/

  7. cd $tomcat_path/webapps/ROOT/

  8. unzip ${war_name}

  9. rm -rf ${war_name}

  10. sleep 5s

  11. cd $tomcat_path/bin/

  12. ./startup.sh

  13. echo "server restarted"

佈署到遠程Tomcat

上述創建項目,可以看出是在本地進行執行的,也就是進行編譯後執行的Tomcat是何Jenkins的宿主服務器是在一起的,這很顯然不符合我們常規的公司及其部署的方案,通常是將編譯之後的代碼在運行到其他的Tomcat服務器中的,下邊有兩種方式,將編譯之後的項目部署到遠程服務器中。

1、使用腳本的方式部署到遠程服務器

2、使用Deploy to container Plugin插件部署到遠程服務器

上述的開始階段就安裝了這個插件,下邊就開始發揮其作用。

這裏寫圖片描述

在創建的Job左側點擊設置,其他配置何在遠程搭建項目是一致的,不同的是在這個地方:

這裏寫圖片描述

以前我們在編譯之後,將編譯後的通過腳本補助到Jenkins的宿主服務器,使用插件,就不需要這種方式了。

這裏寫圖片描述

還有就是的在構建之後,將編譯後的文件**/target/dubbo-provider.war(就是上邊的~/.jenkins/jobs/ManenDemo/workspace/spring_provider/target目錄)部署到下邊的遠程Tomcat容器中;這裏Containers的用戶名和密碼是Tomcat管理員的賬戶密碼,Tomcat URL 就是你需要進行部署的遠程Tomcat服務器的ip和端口。

這裏需要進行設置的是遠程Tomcat的管理員信息,修改遠程Tomcat容器下的conf–tomcat-users.xml文件,在內添加下邊的內容:


 
  1. <role rolename="manager"/>

  2. <role rolename="manager-gui"/>

  3. <role rolename="manager-script"/>

  4. <role rolename="admin"/>

  5. <user username="admin" password="admin" roles="admin,manager,manager-script,manager-gui"/>

即可實現遠程的訪問,測試是可以通過的,但是有一個問題,通過這種方式,只將war複製到了wenapps下:

這裏寫圖片描述

因此這種方式的話,我們訪問的時候必須是ip、端口和項目名,例如:

http://115.159.151.247:8030/dubbo-provider/

 

當然這種方式 也是在實際的應用中不提倡的,解決方式就是修改Tomcat默認的訪問路徑即可,設置Tomcat–conf–server.xml文件如下: 
在Host節點之間添加:

<Context path="" docBase="dubbo-provider" debug="0" reloadable="true" />

 

這裏寫圖片描述

或者在docBase裏邊輸入項目的絕對路徑,例如我的:

<Context path="" docBase="/home/xuliugen/dubbo-provider/webapps/dubbo-provider" debug="0" reloadable="true" />

 

然後重啓Tomcat,這樣的話,http://ip:8030/dubbo-provider/ 和http://ip:8030這兩種方式都可以訪問到該項目。

這裏寫圖片描述

這裏寫圖片描述

後期補充:

上邊的是設置Context Path,使得默認部署的時候會在webapps下作爲一個單獨的容器,其實可以直接將其設置爲/ ,因爲Tomcat默認的訪問路徑指向的就是ROOT,所以如果設置爲ROOT的話就不需要在進行上邊的設置了,如下:

這裏寫圖片描述

自動部署war包到ROOT路徑,也就是網站的根目錄時,deploy插件的”Context path”要填寫:”/”,而不是”ROOT”或者”/ROOT”,不然自動部署會失敗,有類似以下錯誤:

這裏寫圖片描述

其他問題

1、部署項目的時候報錯

這裏寫圖片描述

這個大家很好理解,是因爲下載jar失敗的問題,由於是第一次使用Maven,需要第一次下載很多jar到Maven倉庫中,由於網絡的問題下載失敗,大家可以多次構建讓他重新下載,或者直接到:https://repo.maven.apache.org/maven2 根據報錯的jar,在maven2中找到自己缺失的jar,然後在/root/.m2/repository 相應的位置添加jar即可。

2、編寫腳本文件啓動tomcat但是項目仍然運行不起來

就是上邊說道的問題了: 
添加:export BUILD_ID=dontKillMe,因爲該job啓動完後執行下一job,jenkins直接把tomcat進程殺了,所以無論腳本中怎麼寫了啓動tomcat的命令,他是不會啓動的。

3、遇到下邊的問題

這裏寫圖片描述

這就是在系統設置的時候,設置的git的地址不對,上述已經說明了,應該是git的可執行文件的地址,如果只是git的目錄,是無法找到git這個可執行文件的,如下:

這裏寫圖片描述

可以看出使用的是這個:/usr/local/git/bin/git 進行git倉庫的配置何代碼的拉取,因此這設置git的目錄,jenkins默認是不會找bin目錄下的git可執行文件的。

至此,Jenkins的部署完成,希望對大家有所幫助。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章