關於MD5算法

綜述

　　MD5的全稱是message-digest algorithm 5（信息-摘要算法），在90年代初由mit laboratory for computer science和rsa data security inc的ronald l. rivest開發出來，經md2、md3和md4發展而來。它的作用是讓大容量信息在用數字簽名軟件簽署私人密匙前被"壓縮"成一種保密的格式（就是把一個任意長度的字節串變換成一定長的大整數）。不管是md2、md4還是md5，它們都需要獲得一個隨機長度的信息併產生一個128位的信息摘要。雖然這些算法的結構或多或少有些相似，但md2的設計與md4和md5完全不同，那是因爲md2是爲8位機器做過設計優化的，而md4和md5卻是面向32位的電腦。這三個算法的描述和c語言源代碼在internet rfcs 1321中有詳細的描述（http://www.ietf.org/rfc/rfc1321.txt），這是一份最權威的文檔，由ronald l. rivest在1992年8月向ieft提交。

　　rivest在1989年開發出md2算法。在這個算法中，首先對信息進行數據補位，使信息的字節長度是16的倍數。然後，以一個16位的檢驗和追加到信息末尾。並且根據這個新產生的信息計算出散列值。後來，rogier和chauvaud發現如果忽略了檢驗和將產生md2衝突。md2算法的加密後結果是唯一的--既沒有重複。

　　爲了加強算法的安全性，rivest在1990年又開發出md4算法。md4算法同樣需要填補信息以確保信息的字節長度加上448後能被512整除（信息字節長度mod 512 = 448）。然後，一個以64位二進制表示的信息的最初長度被添加進來。信息被處理成512位damg?rd/merkle迭代結構的區塊，而且每個區塊要通過三個不同步驟的處理。den boer和bosselaers以及其他人很快的發現了攻擊md4版本中第一步和第三步的漏洞。dobbertin向大家演示瞭如何利用一部普通的個人電腦在幾分鐘內找到md4完整版本中的衝突（這個衝突實際上是一種漏洞，它將導致對不同的內容進行加密卻可能得到相同的加密後結果）。毫無疑問，md4就此被淘汰掉了。

　　儘管md4算法在安全上有個這麼大的漏洞，但它對在其後才被開發出來的好幾種信息安全加密算法的出現卻有着不可忽視的引導作用。除了md5以外，其中比較有名的還有sha-1、ripe-md以及haval等。

　　一年以後，即1991年，rivest開發出技術上更爲趨近成熟的md5算法。它在md4的基礎上增加了"安全-帶子"（safety-belts）的概念。雖然md5比md4稍微慢一些，但卻更爲安全。這個算法很明顯的由四個和md4設計有少許不同的步驟組成。在md5算法中，信息-摘要的大小和填充的必要條件與md4完全相同。den boer和bosselaers曾發現md5算法中的假衝突（pseudo-collisions），但除此之外就沒有其他被發現的加密後結果了。

　　van oorschot和wiener曾經考慮過一個在散列中暴力搜尋衝突的函數（brute-force hash function），而且他們猜測一個被設計專門用來搜索md5衝突的機器（這臺機器在1994年的製造成本大約是一百萬美元）可以平均每24天就找到一個衝突。但單從1991年到2001年這10年間，竟沒有出現替代md5算法的md6或被叫做其他什麼名字的新算法這一點，我們就可以看出這個瑕疵並沒有太多的影響md5的安全性。上面所有這些都不足以成爲md5的在實際應用中的問題。並且，由於md5算法的使用不需要支付任何版權費用的，所以在一般的情況下（非絕密應用領域。但即便是應用在絕密領域內，md5也不失爲一種非常優秀的中間技術），md5怎麼都應該算得上是非常安全的了。

　　算法的應用

　　md5的典型應用是對一段信息（message）產生信息摘要（message-digest），以防止被篡改。比如，在unix下有很多軟件在下載的時候都有一個文件名相同，文件擴展名爲.md5的文件，在這個文件中通常只有一行文本，大致結構如：

　　　md5 (tanajiya.tar.gz) = 0ca175b9c0f726a831d895e269332461

　　這就是tanajiya.tar.gz文件的數字簽名。md5將整個文件當作一個大文本信息，通過其不可逆的字符串變換算法，產生了這個唯一的md5信息摘要。如果在以後傳播這個文件的過程中，無論文件的內容發生了任何形式的改變（包括人爲修改或者下載過程中線路不穩定引起的傳輸錯誤等），只要你對這個文件重新計算md5時就會發現信息摘要不相同，由此可以確定你得到的只是一個不正確的文件。如果再有一個第三方的認證機構，用md5還可以防止文件作者的"抵賴"，這就是所謂的數字簽名應用。

　　md5還廣泛用於加密和解密技術上。比如在unix系統中用戶的密碼就是以md5（或其它類似的算法）經加密後存儲在文件系統中。當用戶登錄的時候，系統把用戶輸入的密碼計算成md5值，然後再去和保存在文件系統中的md5值進行比較，進而確定輸入的密碼是否正確。通過這樣的步驟，系統在並不知道用戶密碼的明碼的情況下就可以確定用戶登錄系統的合法性。這不但可以避免用戶的密碼被具有系統管理員權限的用戶知道，而且還在一定程度上增加了密碼被破解的難度。

　　正是因爲這個原因，現在被黑客使用最多的一種破譯密碼的方法就是一種被稱爲"跑字典"的方法。有兩種方法得到字典，一種是日常蒐集的用做密碼的字符串表，另一種是用排列組合方法生成的，先用md5程序計算出這些字典項的md5值，然後再用目標的md5值在這個字典中檢索。我們假設密碼的最大長度爲8位字節（8 bytes），同時密碼只能是字母和數字，共26+26+10=62個字符，排列組合出的字典的項數則是p(62,1)+p(62,2)….+p(62,8)，那也已經是一個很天文的數字了，存儲這個字典就需要tb級的磁盤陣列，而且這種方法還有一個前提，就是能獲得目標賬戶的密碼md5值的情況下才可以。這種加密技術被廣泛的應用於unix系統中，這也是爲什麼unix系統比一般操作系統更爲堅固一個重要原因。

　　算法描述

　　對md5算法簡要的敘述可以爲：md5以512位分組來處理輸入的信息，且每一分組又被劃分爲16個32位子分組，經過了一系列的處理後，算法的輸出由四個32位分組組成，將這四個32位分組級聯後將生成一個128位散列值。

　　在md5算法中，首先需要對信息進行填充，使其字節長度對512求餘的結果等於448。因此，信息的字節長度（bits length）將被擴展至n*512+448，即n*64+56個字節（bytes），n爲一個正整數。填充的方法如下，在信息的後面填充一個1和無數個0，直到滿足上面的條件時才停止用0對信息的填充。然後，在在這個結果後面附加一個以64位二進制表示的填充前信息長度。經過這兩步的處理，現在的信息字節長度=n*512+448+64=(n+1)*512，即長度恰好是512的整數倍。這樣做的原因是爲滿足後面處理中對信息長度的要求。

　　md5中有四個32位被稱作鏈接變量（chaining variable）的整數參數，他們分別爲：a=0x01234567，b=0x89abcdef，c=0xfedcba98，d=0x76543210。

　　當設置好這四個鏈接變量後，就開始進入算法的四輪循環運算。循環的次數是信息中512位信息分組的數目。

　　將上面四個鏈接變量複製到另外四個變量中：a到a，b到b，c到c，d到d。

　　主循環有四輪（md4只有三輪），每輪循環都很相似。第一輪進行16次操作。每次操作對a、b、c和d中的其中三個作一次非線性函數運算，然後將所得結果加上第四個變量，文本的一個子分組和一個常數。再將所得結果向右環移一個不定的數，並加上a、b、c或d中之一。最後用該結果取代a、b、c或d中之一。
以一下是每次操作中用到的四個非線性函數（每輪一個）。

　　　f(x,y,z) =(x&y)|((~x)&z)
　　　g(x,y,z) =(x&z)|(y&(~z))
　　　h(x,y,z) =x^y^z
　　　i(x,y,z)=y^(x|(~z))
　　　（&是與，|是或，~是非，^是異或）

　　這四個函數的說明：如果x、y和z的對應位是獨立和均勻的，那麼結果的每一位也應是獨立和均勻的。
f是一個逐位運算的函數。即，如果x，那麼y，否則z。函數h是逐位奇偶操作符。

　　假設mj表示消息的第j個子分組（從0到15），
　　<<　ff(a,b,c,d,mj,s,ti)　表示　a=b+((a+(f(b,c,d)+mj+ti)
　　<<　gg(a,b,c,d,mj,s,ti)　表示　a=b+((a+(g(b,c,d)+mj+ti)
　　<<　hh(a,b,c,d,mj,s,ti)　表示　a=b+((a+(h(b,c,d)+mj+ti)
　　<<　ii(a,b,c,d,mj,s,ti)　表示　a=b+((a+(i(b,c,d)+mj+ti)
　　<<　這四輪（64步）是：

　　第一輪

　　　ff(a,b,c,d,m0,7,0xd76aa478)
　　　ff(d,a,b,c,m1,12,0xe8c7b756)
　　　ff(c,d,a,b,m2,17,0x242070db)
　　　ff(b,c,d,a,m3,22,0xc1bdceee)
　　　ff(a,b,c,d,m4,7,0xf57c0faf)
　　　ff(d,a,b,c,m5,12,0x4787c62a)
　　　ff(c,d,a,b,m6,17,0xa8304613)
　　　ff(b,c,d,a,m7,22,0xfd469501)
　　　ff(a,b,c,d,m8,7,0x698098d8)
　　　ff(d,a,b,c,m9,12,0x8b44f7af)
　　　ff(c,d,a,b,m10,17,0xffff5bb1)
　　　ff(b,c,d,a,m11,22,0x895cd7be)
　　　ff(a,b,c,d,m12,7,0x6b901122)
　　　ff(d,a,b,c,m13,12,0xfd987193)
　　　ff(c,d,a,b,m14,17,0xa679438e)
　　　ff(b,c,d,a,m15,22,0x49b40821)

　　第二輪

　　　gg(a,b,c,d,m1,5,0xf61e2562)
　　　gg(d,a,b,c,m6,9,0xc040b340)
　　　gg(c,d,a,b,m11,14,0x265e5a51)
　　　gg(b,c,d,a,m0,20,0xe9b6c7aa)
　　　gg(a,b,c,d,m5,5,0xd62f105d)
　　　gg(d,a,b,c,m10,9,0x02441453)
　　　gg(c,d,a,b,m15,14,0xd8a1e681)
　　　gg(b,c,d,a,m4,20,0xe7d3fbc8)
　　　gg(a,b,c,d,m9,5,0x21e1cde6)
　　　gg(d,a,b,c,m14,9,0xc33707d6)
　　　gg(c,d,a,b,m3,14,0xf4d50d87)
　　　gg(b,c,d,a,m8,20,0x455a14ed)
　　　gg(a,b,c,d,m13,5,0xa9e3e905)
　　　gg(d,a,b,c,m2,9,0xfcefa3f8)
　　　gg(c,d,a,b,m7,14,0x676f02d9)
　　　gg(b,c,d,a,m12,20,0x8d2a4c8a)

　　第三輪

　　　hh(a,b,c,d,m5,4,0xfffa3942)
　　　hh(d,a,b,c,m8,11,0x8771f681)
　　　hh(c,d,a,b,m11,16,0x6d9d6122)
　　　hh(b,c,d,a,m14,23,0xfde5380c)
　　　hh(a,b,c,d,m1,4,0xa4beea44)
　　　hh(d,a,b,c,m4,11,0x4bdecfa9)
　　　hh(c,d,a,b,m7,16,0xf6bb4b60)
　　　hh(b,c,d,a,m10,23,0xbebfbc70)
　　　hh(a,b,c,d,m13,4,0x289b7ec6)
　　　hh(d,a,b,c,m0,11,0xeaa127fa)
　　　hh(c,d,a,b,m3,16,0xd4ef3085)
　　　hh(b,c,d,a,m6,23,0x04881d05)
　　　hh(a,b,c,d,m9,4,0xd9d4d039)
　　　hh(d,a,b,c,m12,11,0xe6db99e5)
　　　hh(c,d,a,b,m15,16,0x1fa27cf8)
　　　hh(b,c,d,a,m2,23,0xc4ac5665)

　　第四輪

　　　ii(a,b,c,d,m0,6,0xf4292244)
　　　ii(d,a,b,c,m7,10,0x432aff97)
　　　ii(c,d,a,b,m14,15,0xab9423a7)
　　　ii(b,c,d,a,m5,21,0xfc93a039)
　　　ii(a,b,c,d,m12,6,0x655b59c3)
　　　ii(d,a,b,c,m3,10,0x8f0ccc92)
　　　ii(c,d,a,b,m10,15,0xffeff47d)
　　　ii(b,c,d,a,m1,21,0x85845dd1)
　　　ii(a,b,c,d,m8,6,0x6fa87e4f)
　　　ii(d,a,b,c,m15,10,0xfe2ce6e0)
　　　ii(c,d,a,b,m6,15,0xa3014314)
　　　ii(b,c,d,a,m13,21,0x4e0811a1)
　　　ii(a,b,c,d,m4,6,0xf7537e82)
　　　ii(d,a,b,c,m11,10,0xbd3af235)
　　　ii(c,d,a,b,m2,15,0x2ad7d2bb)
　　　ii(b,c,d,a,m9,21,0xeb86d391)

　　常數ti可以如下選擇：

　　在第i步中，ti是4294967296*abs(sin(i))的整數部分，i的單位是弧度。(4294967296等於2的32次方)
所有這些完成之後，將a、b、c、d分別加上a、b、c、d。然後用下一分組數據繼續運行算法，最後的輸出是a、b、c和d的級聯。

　　當你按照我上面所說的方法實現md5算法以後，你可以用以下幾個信息對你做出來的程序作一個簡單的測試，看看程序有沒有錯誤。

　　　md5 ("") = d41d8cd98f00b204e9800998ecf8427e
　　　md5 ("a") = 0cc175b9c0f1b6a831c399e269772661
　　　md5 ("abc") = 900150983cd24fb0d6963f7d28e17f72
　　　md5 ("message digest") = f96b697d7cb7938d525a2f31aaf161d0
　　　md5 ("abcdefghijklmnopqrstuvwxyz") = c3fcd3d76192e4007dfb496cca67e13b
　　　md5 ("abcdefghijklmnopqrstuvwxyzabcdefghijklmnopqrstuvwxyz0123456789") = d174ab98d277d9f5a5611c2c9f419d9f
　　　md5 ("12345678901234567890123456789012345678901234567890123456789012345678901234567890") = 57edf4a22be3c955ac49da2e2107b67a

　　如果你用上面的信息分別對你做的md5算法實例做測試，最後得出的結論和標準答案完全一樣，那我就要在這裏象你道一聲祝賀了。要知道，我的程序在第一次編譯成功的時候是沒有得出和上面相同的結果的。


　　MD5的安全性

　　md5相對md4所作的改進：

　　　1. 增加了第四輪；

　　　2. 每一步均有唯一的加法常數；

　　　3. 爲減弱第二輪中函數g的對稱性從(x&y)|(x&z)|(y&z)變爲(x&z)|(y&(~z))；

　　　4. 第一步加上了上一步的結果，這將引起更快的雪崩效應；

　　　5. 改變了第二輪和第三輪中訪問消息子分組的次序，使其更不相似；

　　　6. 近似優化了每一輪中的循環左移位移量以實現更快的雪崩效應。各輪的位移量互不相同。