文章目錄
harbor倉庫中的鏡像掃描這個功能，看似很高大上，其實等你瞭解了它的底層原理與流程，你就會發現就是做了那麼一件事而已，用通俗的一句話概括，就是找到每個鏡像文件系統中已經安裝的軟件包與版本，然後跟官方系統公佈的信息比對，官方已經給出了在哪個系統版本上哪個軟件版本有哪些漏洞，比如Debian 7系統上，nginx 1.12.1有哪些CVE漏洞，通過對逐個安裝的軟件包比對，就能知道當前這個鏡像一共有多少CVE。當然，如果你是解壓版的，那就沒啥說的，這個跟windows類似，系統無法在控制面板識別。下面就harbor的具體流程進行簡單介紹，讓你對這個功能瞭如指掌。
在瞭解鏡像掃描之前，這裏先簡單說下鏡像的概念，鏡像就是由許多Layer層組成的文件系統，重要的是每個鏡像有一個manifest，這個東西跟springboot中的一個概念，就是文件清單的意思。一個鏡像是由許多Layer組成，總需要這個manifest文件來記錄下到底由哪幾個層聯合組成的。要掃描分析一個鏡像，首先你就必須獲取到這個鏡像的manifest文件，通過manifest文件獲取到鏡像所有的Layer的地址digest，digest在docker鏡像存儲系統中代表的是一個地址，類似操作系統中的一個內存地址概念，通過這個地址，可以找到文件的內容，這種可尋址的設計是v2版本的重大改變。在docker hub儲存系統中，所有文件都是有地址的，這個digest就是由某種高效的sha算法通過對文件內容計算出來的。
上圖中虛線框中的模塊是harbor自身功能，Clair是coreos開源的一個系統，鏡像掃描分析工作主要由Clair完成，它具體的結構在下面再分析，這裏先側重分析harbor這塊流程。箭頭方向大致描述的是請求方向，系統之間交互可能產生多次請求。
1.UI向Job發起鏡像掃描請求，參數中包含了倉庫名稱以及tag
2.Job收到請求之後，向registry發起一個Head請求(/v2/nginx/manifest/v1.12.1)，判斷當前鏡像的manifest是否存在，取出當前manifest的digest，這個digest是存放在響應頭中的Docker-Content-Digest。
3.Job把第2步獲取到的digest以及倉庫名、tag作爲一條記錄插入job表中，job的狀態爲pending。
這個時候Job系統則會新建一個掃描任務的job進行調度，這裏則涉及到一個狀態機處理流程。
4.Job系統通過manifest文件獲取鏡像的所有Layer digest，針對每一層，封裝一個ClairLayer參數對象，然後根據層的數量，循環請求Clair系統，ClairLayer參數結構如下:
Name: sha256:7d99455a045a6c89c0dbee6e1fe659eb83bd3a19e171606bc0fd10eb0e34a7dc
Headers: tokenHeader,
Format: "Docker",
Path: http://registry:5000/v2/nginx/blobs/7d99455a045a6c89c0dbee6e1fe659eb83bd3a19e171606bc0fd10eb0e34a7dc
ParentName: a55bba68cd4925f13c34562c891c8c0b5d446c7e3d65bf06a360e81b993902e1
5.Clair系統收到請求之後，根據ParentName首先校驗父Layer是否存在，不存在則報錯。
下面詳細講解Clair漏洞分析流程。
1.下載鏡像層文件
攜帶必要的headers發起對path的Get請求，得到的則是一個歸檔文件，然後進行解壓。
2.探測鏡像操作系統
遍歷解壓後的文件目錄，探測操作系統文件路徑。 首先要了解各Linux發行版的一些基礎文件
比如系統版本、安裝的軟件包版本記錄等文件。
centos：/etc/os-release,/usr/lib/os-release
查看文件/etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"
ID="centos"
ID_LIKE="rhel fedora"
VERSION_ID="7"
PRETTY_NAME="CentOS Linux 7 (Core)"
ANSI_COLOR="0;31"
CPE_NAME="cpe:/o:centos:centos:7"
HOME_URL="https://www.centos.org/"
BUG_REPORT_URL="https://bugs.centos.org/"
CENTOS_MANTISBT_PROJECT="CentOS-7"
CENTOS_MANTISBT_PROJECT_VERSION="7"
REDHAT_SUPPORT_PRODUCT="centos"
REDHAT_SUPPORT_PRODUCT_VERSION="7"
clair逐行解析該文件，提取ID以及VERSION_ID字段，最終把centos:7作爲clair中的一個namespace概念。
2.探測鏡像已安裝的軟件包
上一步已經探測到了操作系統，自然可以知道系統的軟件管理包是rpm還是dpkg。
debian, ubuntu : dpkg
centos, rhel, fedora, amzn, ol, oracle : rpm
centos系統的軟件管理包是rpm，而debain系統的軟件管理是dpkg。
rpm：var/lib/rpm/Packages
dpkg：var/lib/dpkg/status
apk：lib/apk/db/installed
比如debian系統，從文件/var/lib/dpkg/status文件則可以探測到當前系統安裝了哪些版本的軟件。
Package: sed
Essential: yes
Status: install ok installed
Priority: required
Section: utils
Installed-Size: 799
Maintainer: Clint Adams <clint@debian.org>
Architecture: amd64
Multi-Arch: foreign
Version: 4.4-1
Pre-Depends: libc6 (>= 2.14), libselinux1 (>= 1.32)
Description: GNU stream editor for filtering/transforming text
sed reads the specified files or the standard input if no
files are specified, makes editing changes according to a
list of commands, and writes the results to the standard
output.
Homepage: https://www.gnu.org/software/sed/
Package: libsmartcols1
Status: install ok installed
Priority: required
Section: libs
Installed-Size: 257
Maintainer: Debian util-linux Maintainers <ah-util-linux@debian.org>
Architecture: amd64
Multi-Arch: same
Source: util-linux
Version: 2.29.2-1+deb9u1
Depends: libc6 (>= 2.17)
Description: smart column output alignment library
This smart column output alignment library is used by fdisk utilities.
逐行解析文件，提取Package以及Version字段，最終獲取 libsmartcols1 2.29-1+deb9u1以及sed等
3.保存信息
把上面探測到的系統版本、以及系統上安裝的各種軟件包版本都存入數據庫。Clair系統已經獲取了各linux版本操作系統軟件版本，以及對應軟件版本存在的CVE。官方公佈了某個軟件在某個版本修復了哪個CVE，Clair只需要將當前鏡像中的軟件的版本與官方公佈的版本進行比較。比如官方維護的CVE信息中公佈了nginx 1.13.1修復了漏洞CVE-2015-10203，那麼當前鏡像中包含的版本爲1.12.1的nginx必然存在漏洞CVE-2015-10203，這些版本比較都是基於同一個版本的操作系統之上比較的。
Harbor的Job系統發送完最後一層的請求之後，則會發起一個CVE分析結果的請求查詢，生成一個掃描結果的概覽保存在數據庫中，主要是記錄當前鏡像發現了高風險漏洞多少個，中度風險多少個等。同時把job表中的狀態設置爲finished，如果請求Clair發生任何錯誤，則會把job記錄設置爲error。harbor頁面具體的漏洞詳細數據展示，還是通過UI系統調用Clair系統實時查詢。
更多文章，請查看個人博客 https://youendless.com