淺談HTTPS以及Fiddler抓取HTTPS協議

最近想嘗試基於Fiddler的錄製功能做一些接口的獲取和處理工作,碰到的一個問題就是簡單連接Fiddler只能抓取HTTP協議,關鍵的登錄請求等HTTPS協議都沒有捕捉到,所以想讓Fiddler能夠同時抓取到HTTPS和HTTP協議,設置只是很小的一步,關鍵是瞭解HTTPS協議的原理、Fiddler抓取HTTPS協議的原理,然後才能更好的理解如何進行設置。本文主要由三部分組成,第一部分用比較通俗形象的方式簡述了HTTPS的原理,第二部分則是在第一部分的基礎上介紹Fiddler抓取HTTPS協議的原理,最後第三部分就是如何對Fiddler及手機進行設置讓其捕捉HTTPS協議。

一、淺談HTTPS

我們都知道HTTP並非是安全傳輸,在HTTPS基礎上使用SSL協議進行加密構成的HTTPS協議是相對安全的。目前越來越多的企業選擇使用HTTPS協議與用戶進行通信,如百度、谷歌等。HTTPS在傳輸數據之前需要客戶端(瀏覽器)與服務端(網站)之間進行一次握手,在握手過程中將確立雙方加密傳輸數據的密碼信息。網上有諸多資料,有些寫得過於晦澀難懂,尤其是需要密碼學的一些知識。我做了一下簡單的整理,刨除複雜的底層實現,單從理解SSL協議的角度宏觀上認識一下HTTPS。一言以弊之,HTTPS是通過一次非對稱加密算法(如RSA算法)進行了協商密鑰的生成與交換,然後在後續通信過程中就使用協商密鑰進行對稱加密通信。HTTPS協議傳輸的原理和過程簡圖如下所示:


HTTPS協議傳輸原理


一共有8個步驟,我們針對每一步,具體看看發生了什麼事:

  1. 第一步,客戶端發起明文請求:將自己支持的一套加密規則、以及一個隨機數(Random_C)發送給服務器。
  2. 第二步,服務器初步響應:服務器根據自己支持的加密規則,從客戶端發來的請求中選出一組加密算法與HASH算法,生成隨機數,並將自己的身份信息以證書(CA)的形式發回給瀏覽器。CA證書裏面包含了服務器地址,加密公鑰,以及證書的頒發機構等信息。這時服務器給客戶端的包括選擇使用的加密規則、CA證書、一個隨機數(Random_S)。
  3. 第三步,客戶端接到服務器的初步響應後做四件事情:
    (1)證書校驗: 驗證證書的合法性(頒發證書的機構是否合法,證書中包含的網站地址是否與正在訪問的地址一致等)。
    (2)生成密碼:瀏覽器會生成一串隨機數的密碼(Pre_master),並用CA證書裏的公鑰加密(enc_pre_master),用於傳給服務器。
    (3)計算協商密鑰:
    此時客戶端已經獲取全部的計算協商密鑰需要的信息:兩個明文隨機數 Random_C 和 Random_S 與自己計算產生的 Pre-master,計算得到協商密鑰enc_key。
                              enc_key=Fuc(random_C, random_S, Pre-Master)
    (4)生成握手信息:使用約定好的HASH計算握手消息,並使用協商密鑰enc_key及約定好的算法對消息進行加密。
  4. 第四步,客戶端將第三步產生的數據發給服務器:
    這裏要發送的數據有三條:
    (1)用公鑰加密過的服務器隨機數密碼enc_pre_master
    (2)客戶端發給服務器的通知,"以後我們都要用約定好的算法和協商密鑰進行通信的哦"。
    (3)客戶端加密生成的握手信息。
  5. 第五步,服務器接收客戶端發來的數據要做以下四件事情:(1)私鑰解密:使用自己的私鑰從接收到的enc_pre_master中解密取出密碼Pre_master。
    (2)計算協商密鑰:此時服務器已經獲取全部的計算協商密鑰需要的信息:兩個明文隨機數 Random_C 和 Random_S 與Pre-master,計算得到協商密鑰enc_key。
                              enc_key=Fuc(random_C, random_S, Pre-Master)
    (3)解密握手消息:使用協商密鑰enc_key解密客戶端發來的握手消息,並驗證HASH是否與客戶端發來的一致。
    (4)生成握手消息使用協商密鑰enc_key及約定好的算法加密一段握手消息,發送給客戶端。
  6. 第六步,服務器將第五步產生的數據發給客戶端:
    這裏要發的數據有兩條:
    (1)服務器發給客戶端的通知,”聽你的,以後我們就用約定好的算法和協商密鑰進行通信哦“。
    (2)服務器加密生成的握手信息。
  7. 第七步,客戶端拿到握手信息解密,握手結束。
    客戶端解密並計算握手消息的HASH,如果與服務端發來的HASH一致,此時握手過程結束。
  8. 第八步,正常加密通信
    握手成功之後,所有的通信數據將由之前協商密鑰enc_key及約定好的算法進行加密解密。

這裏客戶端與服務器互相發送加密的握手消息並驗證,目的是爲了保證雙方都獲得了一致的密碼,並且可以正常的加密解密數據,爲後續真正數據的傳輸做一次測試。另外,HTTPS一般使用的加密與HASH算法如下:非對稱加密算法:RSA,DSA/DSS對稱加密算法:AES,RC4,3DESHASH算法:MD5,SHA1,SHA256其中非對稱加密算法用於在握手過程中加密生成的密碼,對稱加密算法用於對真正傳輸的數據進行加密,而HASH算法用於驗證數據的完整性。由於瀏覽器生成的密碼是整個數據加密的關鍵,因此在傳輸的時候使用了非對稱加密算法對其加密。非對稱加密算法會生成公鑰和私鑰,公鑰只能用於加密數據,因此可以隨意傳輸,而服務器的私鑰用於對數據進行解密,所以服務器都會非常小心的保管自己的私鑰,防止泄漏。

二、Fiddler抓取HTTPS協議原理

我們都知道,Fiddler是個很好的代理工具,可抓取協議請求用於調試。關於Fiddler抓取HTTP協議的原理和配置比較簡單,對Fiddler和客戶端稍作配置,便能使得Fiddler輕易地獲取HTTP請求。但是由於HTTPS協議的特殊性,要進一步地配置Fiddler,我們首先要了解一下fiddler抓取HTTPS協議的原理才能更好地理解如何對fiddler進行配置。Fiddler本身就是一個協議代理工具,在上一節HTTPS原理圖上,客戶端與服務器端進行通信的過程全部都由Fiddler獲取到,也就是如下圖所示:


Fiddler抓取HTTPS協議原理圖


我們看到Fiddler抓取HTTPS協議主要由以下幾步進行:

  1. 第一步,Fiddler截獲客戶端發送給服務器的HTTPS請求,Fiddler僞裝成客戶端向服務器發送請求進行握手 。
  2. 第二步,服務器發回相應,Fiddler獲取到服務器的CA證書, 用根證書公鑰進行解密, 驗證服務器數據簽名, 獲取到服務器CA證書公鑰。然後Fiddler僞造自己的CA證書, 冒充服務器證書傳遞給客戶端瀏覽器。
  3. 第三步,與普通過程中客戶端的操作相同,客戶端根據返回的數據進行證書校驗、生成密碼Pre_master、用Fiddler僞造的證書公鑰加密,並生成HTTPS通信用的對稱密鑰enc_key。
  4. 第四步,客戶端將重要信息傳遞給服務器, 又被Fiddler截獲。Fiddler將截獲的密文用自己僞造證書的私鑰解開, 獲得並計算得到HTTPS通信用的對稱密鑰enc_key。Fiddler將對稱密鑰用服務器證書公鑰加密傳遞給服務器。
  5. 第五步,與普通過程中服務器端的操作相同,服務器用私鑰解開後建立信任,然後再發送加密的握手消息給客戶端。
  6. 第六步,Fiddler截獲服務器發送的密文, 用對稱密鑰解開, 再用自己僞造證書的私鑰加密傳給客戶端。
  7. 第七步,客戶端拿到加密信息後,用公鑰解開,驗證HASH。握手過程正式完成,客戶端與服務器端就這樣建立了”信任“。

在之後的正常加密通信過程中,Fiddler如何在服務器與客戶端之間充當第三者呢?

服務器—>客戶端:Fiddler接收到服務器發送的密文, 用對稱密鑰解開, 獲得服務器發送的明文。再次加密, 發送給客戶端。
客戶端—>服務端:客戶端用對稱密鑰加密,被Fiddler截獲後,解密獲得明文。再次加密,發送給服務器端。由於Fiddler一直擁有通信用對稱密鑰enc_key, 所以在整個HTTPS通信過程中信息對其透明。

從上面可以看到,Fiddler抓取HTTPS協議成功的關鍵是根證書(具體是什麼,可Google),這是一個信任鏈的起點,這也是Fiddler僞造的CA證書能夠獲得客戶端和服務器端信任的關鍵。
接下來我們就來看如果設置讓Fiddler抓取HTTPS協議。

三、Fiddler抓取HTTPS設置

注意以下操作的前提是,手機已經能夠連上Fiddler,這部分的配置過程簡單就不贅述了,可參考:手機如何連接Fiddler
如何繼續配置讓Fiddler抓取到HTTPS協議呢?
(一)首先對Fiddler進行設置:打開工具欄->Tools->Fiddler Options->HTTPS


對Fiddler進行設置


選中Capture HTTPS CONNECTs,因爲我們要用Fiddler獲取手機客戶端發出的HTTPS請求,所以中間的下拉菜單中選中from remote clients only。選中下方Ignore server certificate errors.
(二)然後,就是手機安裝Fiddler證書。
這一步,也就是我們上面分析的抓取HTTPS請求的關鍵。

操作步驟很簡單,打開手機瀏覽器,在瀏覽器地址輸入代理服務器IP和端口,會看到一個Fiddler提供的頁面。



接着點擊最下方的FiddlerRoot certificate,這時候點擊確定安裝就可以下載Fiddler的證書了。
下載安裝完成好後,我們用手機客戶端或者瀏覽器發出HTTPS請求,Fiddler就可以截獲到了,就跟截獲普通的HTTP請求一樣。

好啦,以上就是關於HTTPS的簡介以及Fiddler如何獲取HTTPS協議的原理和配置,看到Fiddler整齊劃一地截獲到HTTP和複雜的HTTPS協議,心裏還有點小激動呢。

er

作者:隋胖胖LoveFat
鏈接:http://www.jianshu.com/p/54dd21c50f21
來源:簡書
著作權歸作者所有。商業轉載請聯繫作者獲得授權,非商業轉載請註明出處。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章