輸入網址按回車後,到底發生了什麼呢?

當我們想要前往某個網站獲取想要的內容時,我們一般的操作流程是:打開瀏覽器,輸入URL地址,然後回車就可以了。

但是這中間發生了什麼呢?

下面給大家分享一下大致流程

  • URL 解析
  • DNS 查詢
  • TCP 連接
  • 服務器處理請求
  • 客戶端接收 HTTP 報文響應
  • 渲染頁面


URL 解析

地址解析:首先判斷你輸入的是一個合法的 URL 還是一個待搜索的關鍵詞,並且根據你輸入的內容進行自動完成、字符編碼等操作。

HSTS: 由於安全隱患,會使用 HSTS 強制客戶端使用 HTTPS 訪問頁面。

其他操作: 瀏覽器還會進行一些額外的操作,比如安全檢查、訪問限制(你懂的~)。

檢查客戶端緩存


DNS 查詢

  1. 瀏覽器緩存:先檢查是否在緩存中,沒有則調用系統庫函數進行查詢。

  2. 操作系統緩存:操作系統也有自己的 DNS 緩存,但在這之前,會向檢查域名是否存在本地的 Hosts 文件裏,沒有則向 DNS 服務器發送查詢請求。

  3. 路由器緩存。

  4. ISP DNS 緩存:ISP DNS 就是在客戶端電腦上設置的首選 DNS 服務器,它們在大多數情況下都會有緩存。


根域名服務器查詢

在前面所有步驟沒有緩存的情況下,本地 DNS 服務器會將請求轉發到互聯網上的根域,下面這個圖很好的詮釋了整個流程:

需要注意的的是:

  1. 遞歸方式:一路查下去中間不返回,得到最終結果才返回信息(瀏覽器到本地 DNS 服務器的過程)

  2. 迭代方式,就是本地 DNS 服務器到根域名服務器查詢的方式。

  3. 什麼是 DNS 劫持

  4. 前端 dns-prefetch 優化


TCP 連接建立與斷開

TCP/IP 分爲四層,在發送數據時,每層都要對數據進行封裝和拆解不不同的頭:

應用層:發送 HTTP 請求

瀏覽器從地址欄得到服務器 IP,接着構造一個 HTTP 報文,其中包括:

  • 請求報頭(Request Header):請求方法、目標地址、遵循的協議等
  • 請求主體,請求參數,比如 body 裏面的參數

傳輸層:TCP 傳輸報文

傳輸層會發起一條到達服務器的 TCP 連接,爲了方便傳輸,會對數據進行分割(以報文段爲單位),並標記編號,方便服務器接受時能夠準確地還原報文信息。在建立連接前,會先進行 TCP 三次握手。

網絡層:IP 協議查詢 MAC 地址

將數據段打包,並加入源及目標的 IP 地址,並且負責尋找傳輸路線。判斷目標地址是否與當前地址處於同一網絡中,是的話直接根據 Mac 地址發送,否則使用路由表查找下一個地址,以及使用 ARP 協議查詢它的 Mac 地址。

鏈路層:以太網協議

根據以太網協議將數據分爲以“幀”爲單位的數據包,每一幀分爲兩個部分:

  • 標頭:數據包的發送者、接受者、數據類型
  • 數據:數據包具體內容

Mac 地址

以太網規定了連入網絡的所有設備都必須具備“網卡”接口,數據包都是從一塊網卡傳遞到另一塊網卡,網卡的地址就是 Mac 地址。每一個 Mac 地址都是獨一無二的,具備了一對一的能力。

主要的請求過程:

  1. 瀏覽器從地址欄中獲取服務器的 IP 和端口號;
  2. 瀏覽器與服務器之間通過 TCP 三次握手建立連接;
  3. 瀏覽器向服務器發送報文;
  4. 服務器接收報文處理,同時將響應報文發給瀏覽器;
  5. 瀏覽器解析報文,渲染輸出到頁面;

三次握手

在傳輸層傳輸數據之前需要建立連接,也就是三次握手創建可靠連接。

首先建立鏈接前需要 Server 端先監聽端口,因此 Server 端建立鏈接前的初始狀態就是 LISTEN 狀態,這時 Client 端準備建立鏈接,先發送一個 SYN 同步包,發送完同步包後,Client 端的鏈接狀態變成了 SYN_SENT 狀態。Server 端收到 SYN 後,同意建立鏈接,會向 Client 端回覆一個 ACK。

由於 TCP 是雙工傳輸,Server 端也會同時向 Client 端發送一個 SYN,申請 Server 向 Client 方向建立鏈接。發送完 ACK 和 SYN 後,Server 端的鏈接狀態就變成了 SYN_RCVD。

Client 收到 Server 的 ACK 後,Client 端的鏈接狀態就變成了 ESTABLISHED 狀態,同時,Client 向 Server 端發送 ACK,回覆 Server 端的 SYN 請求。

Server 端收到 Client 端的 ACK 後,Server 端的鏈接狀態也就變成了的 ESTABLISHED 狀態,此時建連完成,雙方隨時可以進行數據傳輸。

在面試時需要明白三次握手是爲了建立雙向的鏈接,需要記住 Client 端和 Server 端的鏈接狀態變化。另外回答建連的問題時,可以提到 SYN 洪水攻擊發生的原因,就是 Server 端收到 Client 端的 SYN 請求後,發送了 ACK 和 SYN,但是 Client 端不進行回覆,導致 Server 端大量的鏈接處在 SYN_RCVD 狀態,進而影響其他正常請求的建連。可以設置 tcp_synack_retries = 0 加快半鏈接的回收速度,或者調大 tcp_max_syn_backlog 來應對少量的 SYN 洪水攻擊

四次揮手

我們只要關注 80 端口與 13743 端口建立的連接斷開過程,瀏覽器通過 13747 端口發送 [FIN, ACK] 這裏是不是跟很多網上看到的不一樣?

  1. 其實是客戶端在發送 [FIN] 報文的時候順帶發了一個 [ACK] 確認上次傳輸確認。

  2. 接着服務端通過 80 端口響應了 [ACK] ,然後立馬響應 [FIN, ACK] 表示數據傳輸完了,可以關閉連接。

  3. 最後瀏覽器通過 13743 端口 發送 [ACK] 包給服務端,客服端與服務端連接就關閉了。

具體流程如下圖抓包所示:

三次握手與四次揮手

客戶端:

  • SYN_SENT - 客戶端發起第 1 次握手後,連接狀態爲 SYN_SENT ,等待服務端內核進行應答,如果服務端來不及處理(例如服務端的 backlog 隊列已滿)就可以看到這種狀態的連接。
  • ESTABLISHED - 表示連接處於正常狀態,可以進行數據傳送。客戶端收到服務器回覆的 SYN+ACK 後,對服務端的 SYN 單獨回覆(第 3 次握手),連接建立完成,進入 ESTABLISHED 狀態。服務端程序收到第 3 次握手包後,也進入 ESTABLISHED 狀態。
  • FIN_WAIT_1 - 客戶端發送了關閉連接的 FIN 報文後,等待服務端回覆 ACK 確認。
  • FIN_WAIT_2 - 表示我方已關閉連接,正在等待服務端關閉。客戶端發了關閉連接的 FIN 報文後,服務器發回 ACK 應答,但是沒進行關閉,就會處於這種狀態。
  • TIME_WAIT - 雙方都正常關閉連接後,客戶端會維持 TIME_WAIT 一段時間,以確保最後一個 ACK 能成功發送到服務器端。停留時長爲 2 倍的 MSL (報文最大生存時間),Linux 下大約是 60 秒。所以在一個頻繁建立短連接的服務器上通常可以看到成千上萬的 TIME_WAIT 連接。

服務端:

  • LISTEN - 表示當前程序正在監聽某個端口時。
  • SYN_RCVD - 服務端收到第 1 次握手後,進入 SYN_RCVD 狀態,並回復一個 SYN+ACK(第 2 次握手),再等待對方確認。
  • ESTABLISHED - 表示連接處於正常狀態,可以進行數據傳送。完成 TCP3 次握手後,連接建立完成,進入 ESTABLISHED 狀態。
  • CLOSE_WAIT - 表示客戶端已經關閉連接,但是本地還沒關閉,正在等待本地關閉。有時客戶端程序已經退出了,但服務端程序由於異常或 BUG 沒有調用 close()函數對連接進行關閉,那在服務器這個連接就會一直處於 CLOSE_WAIT 狀態,而在客戶機已經不存在這個連接了。
  • LAST_ACK - 表示正在等待客戶端對服務端的關閉請求進行最終確認。

TIME_WAIT 狀態存在的理由:

==================劃重點了==================

  • 可靠地實現 TCP 全雙工連接的終止 在進行關閉連接四路握手協議時,最後的 ACK 是由主動關閉端發出的,如果這個最終的 ACK 丟失,服務器將重發最終的 FIN,因此客戶端必須維護狀態信息允 許它重發最終的 ACK。如 果不維持這個狀態信息,那麼客戶端將響應 RST 分節,服務器將此分節解釋成一個錯誤( 在 java 中會拋出 connection reset 的 SocketException)。因而,要實現 TCP 全雙工連接的正常終 止,必須處理終止序列四個分節中任何一個分節的丟失情況,主動關閉 的客戶端必須維持狀 態信息進入 TIME_WAIT 狀態。
  • 允許老的重複分節在網絡中消逝 TCP 分節可能由於路由器異常而“迷途”,在迷途期間,TCP 發送端可能因確認超時而重發這個 分節,迷途的分節在路由器修復後也會被送到最終目的地,這個 原來的迷途分節就稱爲 lost duplicate。在關閉一個 TCP 連接後,馬上又重新建立起一個相同的 IP 地址和端口之間的 TCP 連接,後一個連接被稱爲前一個連接的化身 ( incarnation),那麼有可能出現這種情況,前一 個連接的迷途重複分組在前一個連接終止後出現,從而被誤解成從屬於新的化身。爲了避免 這個情 況,TCP 不允許處於 TIME_WAIT 狀態的連接啓動一個新的化身,因爲 TIME_WAIT 狀 態持續 2MSL,就可以保證當成功建立一個 TCP 連接的時 候,來自連接先前化身的重複分組已 經在網絡中消逝

另外回答斷鏈的問題時,可以提到實際應用中有可能遇到大量 Socket 處在 TIME_WAIT 或者 CLOSE_WAIT 狀態的問題。一般開啓 tcp_tw_reuse 和 tcp_tw_recycle 能夠加快 TIME-WAIT 的 Sockets 回收;而大量 CLOSE_WAIT 可能是被動關閉的一方存在代碼 bug,沒有正確關閉鏈接導致的。

簡單地說就是

  1. 保證 TCP 協議的全雙工連接能夠可靠關閉;

  2. 保證這次連接的重複數據段從網絡中消失,防止端口被重用時可能產生數據混淆;


服務器處理請求並響應 HTTP 報文

深入分析下 HTTP 報文到底是什麼玩意。數據傳輸都是通過 TCP/IP 協議負責底層的傳輸工作, HTTP 協議基本不用操心,所謂的 “超文本傳輸協議” 似乎不怎麼理會 “傳輸” 這個事情,那 HTTP 的核心又是什麼呢?

比圖 TCP 報文,它在實際要傳輸的數據之前附加了一個 20 字節的頭部數據,存儲 TCP 協議必須的額外信息,例如發送方的端口號、接收方的端口號、包序號、標誌位等等。

有了這個附加的 TCP 頭,數據包才能夠正確傳輸,到了目的地後把頭部去掉,就可以拿到真正的數據。這個很容易理解,設置起點與終點,不同協議貼上不同的頭部,到了對應目的地就拆下這個頭部,提取真正的數據。

與 TCP/UDP 類似需要在傳輸數據前設置一些請求頭,不同的是 HTTP 是一個 “純文本” 的協議,所有的頭都是 ASCII 碼的文本,很容易看出來是什麼。

再者就是他的請求報文與響應報文的結構基本一樣,主要三大部分組成:

  1. 起始行(Start Line):描述請求或者響應的基本信息。

  2. Header:使用 key-value 的形式詳細說明報文信息。

  3. 空行。

  4. 消息正文(Entity):傳輸的數據,圖片、視頻、文本等都可以。

這其中前兩部分起始行和頭部字段經常又合稱爲“請求頭”或“響應頭”,消息正文又稱爲“實體”,但與“header”對應,很多時候就直接稱爲“body”。

==================敲黑板了==================

HTTP 協議規定報文必須包含 Header,而且之後必須有一個 “空行”,也就是“CRLF”,十六進制的“0D0A”,可以沒有 “body”。

報文結構如下圖所示:

截取一段報文:

請求頭-起始行

請求行由請求方法字段、URL 字段和 HTTP 協議版本字段 3 個字段組成,它們用空格分隔。例如,GET / HTTP/1.1。

HTTP 協議的請求方法有 GET、POST、HEAD、PUT、DELETE、OPTIONS、TRACE、CONNECT

GET 是請求方法, “/” 是請求的目標資源,“HTTP/1.1” 請求協議版本號。

GET / HTTP/1.1 翻譯成文字大概就是:“hello,服務器,我要請求根目錄下的默認文件使用的是 HTTP 1.1 協議版本”。

頭部 Header

第二部分就是 Header,組成形式是 key:value,使用自定義頭需要注意事項:

  1. header 字段不區分大小寫,通常是首字母大寫;
  2. 字段名不允許有空格,可以使用 “-”,不能使用 “_”;
  3. 字段名必須緊接着 “:”,不能有空格,但是 “:” 後面可以有空格。
  4. 字段名順序沒有意義;

瀏覽器接收響應並渲染數據

瀏覽器接收到來自服務器的響應資源後,會對資源進行分析。首先查看 Response header,根據不同狀態碼做不同的事(比如上面提到的重定向)。如果響應資源進行了壓縮(比如 gzip),還需要進行解壓。然後,對響應資源做緩存。接下來,根據響應資源裏的 MIME[3] 類型去解析響應內容(比如 HTML、Image 各有不同的解析方式)。

接下來將接收到的數據渲染出來,不同的瀏覽器也不是完全相同,但是大致流程是一樣的:

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章