Linux命令之md5sum的作用以及使用方法（md5是什麼？）

1. 背景

   在網絡傳輸、設備之間轉存、複製大文件等時，可能會出現傳輸前後數據不一致的情況。這種情況在網絡這種相對更不穩定的環境中，容易出現。那麼校驗文件的完整性，也是勢在必行的。

    md5sum命令用於生成和校驗文件的md5值。它會逐位對文件的內容進行校驗。是文件的內容，與文件名無關，也就是文件內容相同，其md5值相同。md5值是一個128位的二進制數據，轉換成16進制則是32（128/4）位的進制值。

    md5校驗，有很小的概率不同的文件生成的md5可能相同。比md5更安全的校驗算法還有SHA*系列的。

    在網絡傳輸時，我們校驗源文件獲得其md5sum，傳輸完畢後，校驗其目標文件，並對比如果源文件和目標文件md5 一致的話，則表示文件傳輸無異常。否則說明文件在傳輸過程中未正確傳輸。

2. 重要的選項

• -b 以二進制模式讀入文件內容
• -t 以文本模式讀入文件內容
• -c 根據已生成的md5值，對現存文件進行校驗
• --status 校驗完成後，不生成錯誤或正確的提示信息，可以通過命令的返回值來判斷。

3. 使用舉例

•     生成文件md5值

md5sum file
   

1: [root@master lianxi]# md5sum data    
   2: 0a6de444981b68d6a049053296491e49  data
   1: [root@master lianxi]# md5sum *
   2: 0a6de444981b68d6a049053296491e49  data
   3: 13df384c47dd2638fd923f60c40224c6  data2

     md5sum校驗的是文件內容，與文件名無關

• 以文本模式或二進制模式讀入文件並對其進行校驗

        -b 以二進制模式讀入內容
        -t 以文本模式讀入文件內容進行校驗
        雖然是不同的讀入模式，但是在進行求md5的時候，是一樣的，因爲是逐位校驗的。
        如下文本文件，無論通過哪種模式讀取md5都一致。

 

 

1: [root@master lianxi]# file data   
2: data: ASCII text   
3: [root@master lianxi]# md5sum data   
4: 0a6de444981b68d6a049053296491e49  data   
5: [root@master lianxi]# md5sum -b data   
6: 0a6de444981b68d6a049053296491e49 *data   
7: [root@master lianxi]# md5sum -t data   
8: 0a6de444981b68d6a049053296491e49  data

 

• md5值重定向

        將生成md5值重定向到指定的文件，通常文件的擴展名我們會命爲.md5

 1: [root@master lianxi]# md5sum data > data.md5
   2: [root@master lianxi]# md5sum data
   3: 0a6de444981b68d6a049053296491e49  data
   4: [root@master lianxi]# cat data.md5
   5: 0a6de444981b68d6a049053296491e49  data

• 將多個文件的md5重定向到指定的文件

        每個文件的md5生成爲一行

  1: [root@master lianxi]# ls
   2: data  data.bak  data.md5  d.md5
   3: [root@master lianxi]# md5sum data* > d.md5
   4: [root@master lianxi]# cat d.md5
   5: 0a6de444981b68d6a049053296491e49  data
   6: 0a6de444981b68d6a049053296491e49  data.bak
   7: 0bd94658869c53cdcdf35a0f7de93e01  data.md5

• 重定向追加

        這裏新增文件ls，單獨求其md5，將其md5追加到文件中

   1: [root@master lianxi]# cp /bin/ls .
   2: [root@master lianxi]# ls
   3: data  data.bak  data.md5  d.md5  ls
   4: [root@master lianxi]# md5sum ls >> d.md5
   5: [root@master lianxi]# cat d.md5
   6: 0a6de444981b68d6a049053296491e49  data 
   7: 0a6de444981b68d6a049053296491e49  data.bak
   8: 0bd94658869c53cdcdf35a0f7de93e01  data.md5
   9: c6337b20f3c159544bff5cf622391f9e  ls

•  md5校驗

         -c選項來對文件md5進行校驗。校驗時，根據已生成的md5來進行校驗。生成當前文件的md5，並和之前已經生成的md5進行對比，如果一致，則返回OK，否則返回錯誤信息
         md5sum –c d.md5

  1: [root@master lianxi]# md5sum -c d.md5
   2: data: OK
   3: data.bak: OK
   4: data.md5: OK 
   5: ls: OK

        修改文件後，文件md5變化

1: [root@master lianxi]# ls
   2: data
   3: [root@master lianxi]# md5sum data
   4: 2360752c3368ca4f89169f5ecc06e383  data
   5: [root@master lianxi]# md5sum data  > data.md5
   6: [root@master lianxi]# echo "lwg" >> data
   7: [root@master lianxi]# md5sum data
   8: 287d237083a42f09785daa46a5fa3afe  data
   9: [root@master lianxi]# md5sum -c data.md5
   10: data: FAILED
   11: md5sum: WARNING: 1 of 1 computed checksum did NOT match

         --status，不顯示校驗信息，以命令返回值來判斷
         校驗一致返回0，不一致返回1

1: [root@master lianxi]# md5sum -c data.md5
   2: data: FAILED
   3: md5sum: WARNING: 1 of 1 computed checksum did NOT match
   4: [root@master lianxi]# md5sum -c --status data.md5
   5: [root@master lianxi]# echo $?
   6: 1

• 多個文件文件校驗和grep連用

        通過grep將正確的信息過濾掉

1: [root@master lianxi]# md5sum -c ../value.md5
   2: acpid: OK
   3: acpid.1: OK
   4: anaconda.log: OK
   5: anaconda.syslog: OK
   6: anaconda.xlog: OK
   7: boot.log: OK
   8: boot.log.1: OK
   9: ...
   10: ...
   11: 省略中間部分
  12: ...
   13: ...
   14: yum.log.2: OK  15: md5sum: WARNING: 1 of 56 computed checksums did NOT match
     1: [root@master lianxi]# md5sum -c ../value.md5 | grep -v OK
     2: md5sum: WARNING: 1 of 56 computed checksums did NOT match
     3: cron.1: FAILED

特殊說明
1）md5sum 是校驗文件內容，與文件名是否相同無關

2）md5sum值逐位校驗，所以文件越大，校驗時間越長。

總結
通過md5sum來校驗生成文件校驗碼，來發現文件傳輸（網絡傳輸、複製、本地不同設備間的傳輸）異常造成的文件內容不一致的情況。

工作 實踐應用場景：

需要比較2個rc1.tar.gz 包和rc2.tar.gz兩個包，變更是不是和開發說的一致

1.獲取包，確保包正確無誤

   獲取包後，驗證包的MD5值：md5sum rc*.tar.gz

2. 解壓縮到指定目錄

    確保對應的目錄存在

    tar -zxvf  rc1.tar.gz -C ./test_rc1

     tar -zxvf  rc2.tar.gz -C ./test_rc2

3. 遞歸生成各文件的的MD5值

    find ./test_rc1 -type f -print0| xargs -0 md5sum >> rc1_md5.txt

    find ./test_rc2 -type f -print0| xargs -0 md5sum >> rc2_md5.txt

4. 比較兩文件的MD5值

    diff -c rc1_md5.txt  rc2_md5.txt

     或者用UltraCompare Professional比對結果