HTTPS原理-使用-請求攔截-防止攔截-動態調試HTTP請求

HTTPS （全稱：HyperText Transfer Protocol over Secure Socket Layer）

Google 很早就使用了HTTPS，主要是爲了保證用戶的數據安全。 Google、Baidu、Facebook 、字節跳動這樣的互聯網巨頭，都在廣泛使用HTTPS搭建網站、接口、服務等， 國內外的大型互聯網公司很多也都已經啓用了全站 HTTPS，這也是程序員學習http協議的基礎，走向互聯網開發必要技能。

搜索引擎巨頭爲了鼓勵全球公司和站長們將網站HTTPS協議化，所以它們都提出了幾點要求：

• a.Google 已調整搜索引擎算法，讓採用 HTTPS 的網站在搜索中排名更靠前；
• b.從 2017 年開始，Chrome 瀏覽器已把採用 HTTP 協議的網站標記爲不安全網站；
• c.蘋果要求 2017 年 App Store 中的所有應用都必須使用 HTTPS 加密連接；
• d.當前國內炒的很火熱的微信小程序也要求必須使用 HTTPS 協議；
• e.新一代的 HTTP/2 協議的支持需以 HTTPS 爲基礎。

本文將分以下5點進行闡述。

• 1.HTTPS原理
• 2.HTTPS使用
• 3.HTTPS數據請求捕獲
• 4.HTTPS防止攔截（安全方向）
• 5.HTTP2動態調試HTTP請求

我們都知道HTTPS比HTTP安全，並且如今大多數的網站和接口都是用HTTPS協議搭建的，大家也聽說過SSL、對稱加密、非對稱加密、CA證書等。
但是以下三個問題作爲程序員的你，真的理解嗎？

• 爲什麼用了 HTTPS 就是安全的？
• HTTPS 的底層原理如何實現？
• 用了 HTTPS 就一定安全嗎？

1.HTTPS原理

HTTPS 協議之所以安全是因爲 HTTPS 協議會對傳輸的數據進行加密，而加密過程是使用了非對稱加密實現。但是！！HTTPS 在內容傳輸的加密上使用的是對稱加密，而非對稱加密只作用在證書驗證階段。

HTTPS 的整體過程分爲證書驗證和數據傳輸階段，具體的交互過程如下：

證書驗證階段：

• 1.瀏覽器發起 HTTPS 請求。
• 2.服務端返回 HTTPS 證書。
• 3.客戶端驗證證書是否合法，如果不合法則提示告警。

數據傳輸階段：

• 1.當證書驗證合法後，在本地生成隨機數。
• 2.通過公鑰加密隨機數，並把加密後的隨機數傳輸到服務端。
• 3.服務端通過私鑰對隨機數進行解密。
• 4.服務端通過客戶端傳入的隨機數構造對稱加密算法，對返回結果內容進行加密後傳輸。

爲什麼數據傳輸是用對稱加密?
首先，非對稱加密的加解密效率是非常低的，而 HTTP 的應用場景中通常端與端之間存在大量的交互，非對稱加密的效率是無法接受的。
另外，在 HTTPS 的場景中只有服務端保存了私鑰，一對公私鑰只能實現單向的加解密，所以 HTTPS 中內容傳輸加密採取的是對稱加密，而不是非對稱加密。

爲什麼需要 CA 認證機構頒發證書?
HTTP 協議被認爲不安全是因爲傳輸過程容易被監聽者監聽、僞造服務器請求，而 HTTPS 協議主要解決的便是網絡傳輸的安全性問題。
首先我們假設不存在認證機構，任何人都可以製作證書，這帶來的安全風險便是經典的“中間人攻擊”問題。
“中間人攻擊”的具體過程如下：

過程原理如下：

• 1.本地請求被劫持(如 DNS 劫持等)，所有請求均發送到中間人的服務器。
• 2.中間人服務器返回中間人自己的證書。
• 3.客戶端創建隨機數，通過中間人證書的公鑰對隨機數加密後傳送給中間人，然後憑隨機數構造對稱加密對傳輸內容進行加密傳輸。
• 4.中間人因爲擁有客戶端的隨機數，可以通過對稱加密算法進行內容解密。
• 5.中間人以客戶端的請求內容再向正規網站發起請求。
• 6.因爲中間人與服務器的通信過程是合法的，正規網站通過建立的安全通道返回加密後的數據。
• 7.中間人憑藉與正規網站建立的對稱加密算法對內容進行解密。
• 8.中間人通過與客戶端建立的對稱加密算法對正規內容返回的數據進行加密傳輸。
• 9.客戶端通過與中間人建立的對稱加密算法對返回結果數據進行解密。

由於缺少對證書的驗證，所以客戶端雖然發起的是 HTTPS 請求，但客戶端完全不知道自己的網絡已被攔截，傳輸內容被中間人全部竊取。

瀏覽器是如何確保 CA 證書的合法性?
1.證書包含什麼信息?
證書包含信息如下：

• 頒發機構信息
• 公鑰
• 公司信息
• 域名
• 有效期
• 指紋

2.證書的合法性依據是什麼?

• 首先，權威機構是要有認證的，不是隨便一個機構都有資格頒發證書，不然也不叫做權威機構。
• 另外，證書的可信性基於信任制，權威機構需要對其頒發的證書進行信用背書，只要是權威機構生成的證書，我們就認爲是合法的。
• 所以權威機構會對申請者的信息進行審覈，不同等級的權威機構對審覈的要求也不一樣，於是證書也分爲免費的、便宜的和貴的。

3.瀏覽器如何驗證證書的合法性?

• 瀏覽器發起 HTTPS 請求時，服務器會返回網站的 SSL 證書。
• 瀏覽器需要對證書做以下驗證：
  • 驗證域名、有效期等信息是否正確。證書上都有包含這些信息，比較容易完成驗證。
• 判斷證書來源是否合法。每份簽發證書都可以根據驗證鏈查找到對應的根證書，操作系統、瀏覽器會在本地存儲權威機構的根證書，利用本地根證書可以對對應機構簽發證書完成來源驗證。

比如打開Google.com 查看CA證書，是由GTS CA機構頒發，該機構是Google成立的權威機構

比如天貓商城，證書的頒發機構是GlobalSign 根證書權威機構

判斷證書是否被篡改。需要與 CA 服務器進行校驗。

判斷證書是否已吊銷。通過 CRL(Certificate Revocation List 證書註銷列表)和 OCSP(Online Certificate Status Protocol 在線證書狀態協議)實現。

其中 OCSP 可用於第 3 步中以減少與 CA 服務器的交互，提高驗證效率。
以上任意一步都滿足的情況下瀏覽器才認爲證書是合法的。
這裏插一個我想了很久的但其實答案很簡單的問題：既然證書是公開的，如果要發起中間人攻擊，我在官網上下載一份證書作爲我的服務器證書，那客戶端肯定會認同這個證書是合法的，如何避免這種證書冒用的情況?
其實這就是非加密對稱中公私鑰的用處，雖然中間人可以得到證書，但私鑰是無法獲取的。
一份公鑰是不可能推算出其對應的私鑰，中間人即使拿到證書也無法僞裝成合法服務端，因爲無法對客戶端傳入的加密數據進行解密。

4.只有認證機構可以生成證書嗎?

• 如果需要瀏覽器不提示安全風險，那隻能使用認證機構簽發的證書。
• 但瀏覽器通常只是提示安全風險，並不限制網站不能訪問，所以從技術上誰都可以生成證書，只要有證書就可以完成網站的 HTTPS 傳輸。
• 例如早期的 12306 採用的便是手動安裝私有證書的形式實現 HTTPS 訪問。
  
  本地隨機數被竊取怎麼辦?
  證書驗證是採用非對稱加密實現，但是傳輸過程是採用對稱加密，而其中對稱加密算法中重要的隨機數是由本地生成並且存儲於本地的，HTTPS 如何保證隨機數不會被竊取?
  其實 HTTPS 並不包含對隨機數的安全保證，HTTPS 保證的只是傳輸過程安全，而隨機數存儲於本地，本地的安全屬於另一安全範疇，應對的措施有安裝殺毒軟件、反木馬、瀏覽器升級修復漏洞等。

2.HTTPS使用

在服務器上配置站點時，nginx的server段配置如下

Nginx配置：

• 創建一個server段，監聽443端口
• 開啓ssl --> 然後綁定你想綁定的域名
• ssl_certificate是在你購買證書時要求綁定到那個域名上，綁定後就可以下載了，拷貝到服務器上，在這裏就可以指定證書路徑

server {
    listen       443 ssl;
    listen       [::]:443 ssl;
    server_name  telabytes.com;
    root         /usr/share/nginx/html;

    ssl_certificate   /home/SSLKeys/3094207_telabytes.com.pem;
    ssl_certificate_key  /home/SSLKeys/3094207_telabytes.com.key;
    ssl_session_timeout 5m;
    ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;
    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ......    
}

以上配置完成後，重啓service nginx restart配置。

3.HTTPS數據請求捕獲

在蘋果電腦上，一般我們使用Charles，

Charles抓包和篡改數據可以看這裏：https://www.jianshu.com/p/e26151084add

配置流程是：

• 1.電腦安裝Charles，打開後，去安裝Charles根證書到電腦上
  
• 2.手機上也安裝Charles根證書
  操作方式：
  • （1）、手機和電腦連接同一個WIFI
  • （2）、在手機連接WiFi的配置代理設置地方改成手動 --> 然後輸入電腦的IP地址和端口號8888
  • （3）、接着手機打開自帶瀏覽器，輸入網址 chls.pro/ssl 回車後，會彈出安裝Charles跟證書到手機上，安裝完後，需要去手機設置裏對Charles根證書受信任
    
• 3.現在可以去Charles上攔截手機app上的http請求了，如果要攔截https請求，需要在Charles上啓用HTTPS proxy

具體操作請看我的另一篇教程
https://blog.csdn.net/u013538542/article/details/79107106
https://blog.csdn.net/u013538542/article/details/103126153

4.HTTPS防止攔截（安全方向）

兩種方式
1.一種是檢測app是被代理了，如果被代理了，則禁止不發送網絡請求，iOS的代碼是

+ (BOOL)getProxyStatus {
    NSDictionary *proxySettings =  (__bridge NSDictionary *)(CFNetworkCopySystemProxySettings());
    NSArray *proxies = (__bridge NSArray *)(CFNetworkCopyProxiesForURL((__bridge CFURLRef _Nonnull)([NSURL URLWithString:@"http://www.baidu.com"]), (__bridge CFDictionaryRef _Nonnull)(proxySettings)));
    NSDictionary *settings = [proxies firstObject];

    NSLog(@"host=%@", [settings objectForKey:(NSString *)kCFProxyHostNameKey]);
    NSLog(@"port=%@", [settings objectForKey:(NSString *)kCFProxyPortNumberKey]);
    NSLog(@"type=%@", [settings objectForKey:(NSString *)kCFProxyTypeKey]);
    
    if ([[settings objectForKey:(NSString *)kCFProxyTypeKey] isEqualToString:@"kCFProxyTypeNone"]){
        //沒有設置代理
        return NO;
    } else {
        //設置代理了
        return YES;
    }
}

2.證書驗證
思路就是：

• 1.app本地存儲一份公鑰證書，服務器是私鑰證書
• 2.當客戶端發起HTTPS請求時，服務器會返回公鑰證書
• 3.然後將本地的公鑰證書和服務器發來的公鑰證書做比較，如果相同，則表示是合法的服務器請求

5.HTTP2動態調試HTTP請求

動態調試HTTPS請求主要是將HTTPS請求做一個斷點breakpoints，然後當下一次請求來臨時，就會在斷點處停止，然後我們可以動態的修改參數，以便於調試

詳細的請看：https://www.jianshu.com/p/e26151084add

注：用了 HTTPS 會被抓包嗎?

• HTTPS 的數據是加密的，常規下抓包工具代理請求後抓到的包內容是加密狀態，無法直接查看。
• 但是，正如前文所說，瀏覽器只會提示安全風險，如果用戶授權仍然可以繼續訪問網站，完成請求。
• 因此，只要客戶端是我們自己的終端，我們授權的情況下，便可以組建中間人網絡，而抓包工具便是作爲中間人的代理。
• 通常 HTTPS 抓包工具的使用方法是會生成一個證書，用戶需要手動把證書安裝到客戶端中，然後終端發起的所有請求通過該證書完成與抓包工具的交互。
• 然後抓包工具再轉發請求到服務器，最後把服務器返回的結果在控制檯輸出後再返回給終端，從而完成整個請求的閉環。
• 既然 HTTPS 不能防抓包，那 HTTPS 有什麼意義? HTTPS 可以防止用戶在不知情的情況下通信鏈路被監聽，對於主動授信的抓包操作是不提供防護的，因爲這個場景用戶是已經對風險知情。
• 要防止被抓包，需要採用應用級的安全防護，例如採用私有的對稱加密，同時做好移動端的防反編譯加固，防止本地算法被破解。

以下用簡短的 Q&A 形式進行全文總結：

• Q：HTTPS 爲什麼安全?
  • A：因爲 HTTPS 保證了傳輸安全，防止傳輸過程被監聽、防止數據被竊取，可以確認網站的真實性。
• Q：HTTPS 的傳輸過程是怎樣的?
  • A：客戶端發起 HTTPS 請求，服務端返回證書，客戶端對證書進行驗證，驗證通過後本地生成用於改造對稱加密算法的隨機數。
    通過證書中的公鑰對隨機數進行加密傳輸到服務端，服務端接收後通過私鑰解密得到隨機數，之後的數據交互通過對稱加密算法進行加解密。
• Q：爲什麼需要證書?
  • A：防止“中間人”攻擊，同時可以爲網站提供身份證明。
• Q：使用 HTTPS 會被抓包嗎?
  • A：會被抓包，HTTPS 只防止用戶在不知情的情況下通信被監聽，如果用戶主動授信，是可以構建“中間人”網絡，代理軟件可以對傳輸內容進行解密。