HTTP協議詳解

文章一：（轉載自：http://kb.cnblogs.com/page/130970/#statecode）

當今web程序的開發技術真是百家爭鳴，ASP.NET, PHP, JSP，Perl, AJAX 等等。 無論Web技術在未來如何發展，理解Web程序之間通信的基本協議相當重要， 因爲它讓我們理解了Web應用程序的內部工作. 本文將對HTTP協議進行詳細的實例講解，內容較多，希望大家耐心看。也希望對大家的開發工作或者測試工作有所幫助。使用Fiddler工具非常方便地捕獲HTTP Request和HTTP Response,  關於Fiddler工具的用法，請看我另一篇博客[Fiddler 教程]

　　閱讀目錄

1. 什麼是HTTP協議
2. Web服務器，瀏覽器，代理服務器
3. URL詳解
4. HTTP協議是無狀態的
5. HTTP消息的結構
6. Get和Post方法的區別
7. 狀態碼
8. HTTP Request header
9. HTTP Response header
10. HTTP協議是無狀態的和Connection: keep-alive的區別

　　什麼是HTTP協議

　　協議是指計算機通信網絡中兩臺計算機之間進行通信所必須共同遵守的規定或規則，超文本傳輸協議(HTTP)是一種通信協議，它允許將超文本標記語言(HTML)文檔從Web服務器傳送到客戶端的瀏覽器

　　目前我們使用的是HTTP/1.1 版本

　　Web服務器，瀏覽器，代理服務器

　　當我們打開瀏覽器，在地址欄中輸入URL，然後我們就看到了網頁。 原理是怎樣的呢？

　　實際上我們輸入URL後，我們的瀏覽器給Web服務器發送了一個Request, Web服務器接到Request後進行處理，生成相應的Response，然後發送給瀏覽器， 瀏覽器解析Response中的HTML,這樣我們就看到了網頁，過程如下圖所示

　　我們的Request 有可能是經過了代理服務器，最後纔到達Web服務器的。

　　過程如下圖所示

　　代理服務器就是網絡信息的中轉站，有什麼功能呢？

　　1. 提高訪問速度， 大多數的代理服務器都有緩存功能。

　　2. 突破限制， 也就是翻牆了

　　3. 隱藏身份。

　　URL詳解

　　URL(Uniform Resource Locator) 地址用於描述一個網絡上的資源，  基本格式如下

schema://host[:port#]/path/.../[;url-params][?query-string][#anchor]

　　scheme               指定低層使用的協議(例如：http, https, ftp)

　　host                   HTTP服務器的IP地址或者域名

　　port#                 HTTP服務器的默認端口是80，這種情況下端口號可以省略。如果使用了別的端口，必須指明，例如 http://www.cnblogs.com:8080/

　　path                   訪問資源的路徑

　　url-params

　　query-string       發送給http服務器的數據

　　anchor-             錨

　　URL 的一個例子

http://www.mywebsite.com/sj/test;id=8079?name=sviergn&x=true#stuff

Schema: http

host: www.mywebsite.com

path: /sj/test

URL params: id=8079

Query String: name=sviergn&x=true

Anchor: stuff

　　HTTP協議是無狀態的

　　http協議是無狀態的，同一個客戶端的這次請求和上次請求是沒有對應關係，對http服務器來說，它並不知道這兩個請求來自同一個客戶端。 爲了解決這個問題， Web程序引入了Cookie機制來維護狀態.

　　HTTP消息的結構

　　先看Request 消息的結構，   Request 消息分爲3部分，第一部分叫請求行， 第二部分叫http header, 第三部分是body. header和body之間有個空行， 結構如下圖

　　第一行中的Method表示請求方法，比如"POST"，"GET"，  Path-to-resoure表示請求的資源， Http/version-number 表示HTTP協議的版本號

　　當使用的是"GET" 方法的時候， body是爲空的

　　比如我們打開博客園首頁的request 如下

GET http://www.cnblogs.com/ HTTP/1.1

Host: www.cnblogs.com

　　我們用Fiddler 捕捉一個博客園登錄的Request 然後分析下它的結構， 在Inspectors tab下以Raw的方式可以看到完整的Request的消息，   如下圖

　　我們再看Response消息的結構， 和Request消息的結構基本一樣。 同樣也分爲三部分，第一部分叫request line, 第二部分叫request header，第三部分是body. header和body之間也有個空行，  結構如下圖

　　HTTP/version-number表示HTTP協議的版本號，  status-code 和message 請看下節[狀態代碼]的詳細解釋.

　　我們用Fiddler 捕捉一個博客園首頁的Response然後分析下它的結構， 在Inspectors tab下以Raw的方式可以看到完整的Response的消息，   如下圖

　　Get和Post方法的區別

　　Http協議定義了很多與服務器交互的方法，最基本的有4種，分別是GET,POST,PUT,DELETE. 一個URL地址用於描述一個網絡上的資源，而HTTP中的GET, POST, PUT, DELETE就對應着對這個資源的查，改，增，刪4個操作。 我們最常見的就是GET和POST了。GET一般用於獲取/查詢資源信息，而POST一般用於更新資源信息.

　　我們看看GET和POST的區別

　　1. GET提交的數據會放在URL之後，以?分割URL和傳輸數據，參數之間以&相連，如EditPosts.aspx?name=test1&id=123456.  POST方法是把提交的數據放在HTTP包的Body中.

　　2. GET提交的數據大小有限制（因爲瀏覽器對URL的長度有限制），而POST方法提交的數據沒有限制.

　　3. GET方式需要使用Request.QueryString來取得變量的值，而POST方式通過Request.Form來獲取變量的值。

　　4. GET方式提交數據，會帶來安全問題，比如一個登錄頁面，通過GET方式提交數據時，用戶名和密碼將出現在URL上，如果頁面可以被緩存或者其他人可以訪問這臺機器，就可以從歷史記錄獲得該用戶的賬號和密碼.

　　狀態碼

　　Response 消息中的第一行叫做狀態行，由HTTP協議版本號， 狀態碼， 狀態消息 三部分組成。

　　狀態碼用來告訴HTTP客戶端，HTTP服務器是否產生了預期的Response.

　　HTTP/1.1中定義了5類狀態碼， 狀態碼由三位數字組成，第一個數字定義了響應的類別

　　1XX  提示信息 - 表示請求已被成功接收，繼續處理

　　2XX  成功 - 表示請求已被成功接收，理解，接受

　　3XX  重定向 - 要完成請求必須進行更進一步的處理

　　4XX  客戶端錯誤 -  請求有語法錯誤或請求無法實現

　　5XX  服務器端錯誤 -   服務器未能實現合法的請求

　　看看一些常見的狀態碼

　　200 OK

　　最常見的就是成功響應狀態碼200了， 這表明該請求被成功地完成，所請求的資源發送回客戶端

　　如下圖， 打開博客園首頁

　　302 Found

　　重定向，新的URL會在response中的Location中返回，瀏覽器將會使用新的URL發出新的Request。

　　例如在IE中輸入http://www.google.com. HTTP服務器會返回304， IE取到Response中Location header的新URL, 又重新發送了一個Request.

　　304 Not Modified

　　代表上次的文檔已經被緩存了， 還可以繼續使用，

　　例如打開博客園首頁， 發現很多 Response 的status code 都是304

　　提示：　如果你不想使用本地緩存可以用Ctrl+F5強制刷新頁面

　　400 Bad Request  客戶端請求與語法錯誤，不能被服務器所理解

　　403 Forbidden 服務器收到請求，但是拒絕提供服務

　　404 Not Found

　　請求資源不存在（輸錯了URL）

　　比如在IE中輸入一個錯誤的URL， http://www.cnblogs.com/tesdf.aspx

　　500 Internal Server Error 服務器發生了不可預期的錯誤

　　503 Server Unavailable 服務器當前不能處理客戶端的請求，一段時間後可能恢復正常

　　HTTP Request header

　　使用Fiddler 能很方便的查看Reques header, 點擊Inspectors tab -> Request tab -> headers  如下圖所示.

　　header 有很多，比較難以記憶，我們也按照Fiddler那樣把header 進行分類，這樣比較清晰也容易記憶。

　　Cache 頭域

　　If-Modified-Since

　　作用： 把瀏覽器端緩存頁面的最後修改時間發送到服務器去，服務器會把這個時間與服務器上實際文件的最後修改時間進行對比。如果時間一致，那麼返回304，客戶端就直接使用本地緩存文件。如果時間不一致，就會返回200和新的文件內容。客戶端接到之後，會丟棄舊文件，把新文件緩存起來，並顯示在瀏覽器中。

　　例如：If-Modified-Since: Thu, 09 Feb 2012 09:07:57 GMT

　　實例如下圖

　　If-None-Match

　　作用: If-None-Match和ETag一起工作，工作原理是在HTTP Response中添加ETag信息。 當用戶再次請求該資源時，將在HTTP Request 中加入If-None-Match信息(ETag的值)。如果服務器驗證資源的ETag沒有改變（該資源沒有更新），將返回一個304狀態告訴客戶端使用本地緩存文件。否則將返回200狀態和新的資源和Etag.  使用這樣的機制將提高網站的性能

　　例如: If-None-Match: "03f2b33c0bfcc1:0"

　　實例如下圖

　　Pragma

　　作用： 防止頁面被緩存， 在HTTP/1.1版本中，它和Cache-Control:no-cache作用一模一樣

　　Pargma只有一個用法， 例如： Pragma: no-cache

　　注意: 在HTTP/1.0版本中，只實現了Pragema:no-cache, 沒有實現Cache-Control

　　Cache-Control

　　作用: 這個是非常重要的規則。 這個用來指定Response-Request遵循的緩存機制。各個指令含義如下

　　Cache-Control:Public   可以被任何緩存所緩存（）

　　Cache-Control:Private     內容只緩存到私有緩存中

　　Cache-Control:no-cache  所有內容都不會被緩存

　　還有其他的一些用法， 我沒搞懂其中的意思， 請大家參考其他的資料

　　Client 頭域

　　Accept

　　作用： 瀏覽器端可以接受的媒體類型,

　　例如：  Accept: text/html  代表瀏覽器可以接受服務器回發的類型爲 text/html  也就是我們常說的html文檔,

　　如果服務器無法返回text/html類型的數據，服務器應該返回一個406錯誤(non acceptable)

　　通配符 * 代表任意類型

　　例如  Accept: */*  代表瀏覽器可以處理所有類型，(一般瀏覽器發給服務器都是發這個)

　　Accept-Encoding：

　　作用： 瀏覽器申明自己接收的編碼方法，通常指定壓縮方法，是否支持壓縮，支持什麼壓縮方法（gzip，deflate），（注意：這不是隻字符編碼）;

　　例如： Accept-Encoding: gzip, deflate

　　Accept-Language

　　作用： 瀏覽器申明自己接收的語言。 

　　語言跟字符集的區別：中文是語言，中文有多種字符集，比如big5，gb2312，gbk等等；

　　例如： Accept-Language: en-us

　　User-Agent

　　作用：告訴HTTP服務器， 客戶端使用的操作系統和瀏覽器的名稱和版本.

　　我們上網登陸論壇的時候，往往會看到一些歡迎信息，其中列出了你的操作系統的名稱和版本，你所使用的瀏覽器的名稱和版本，這往往讓很多人感到很神奇，實際上，服務器應用程序就是從User-Agent這個請求報頭域中獲取到這些信息User-Agent請求報頭域允許客戶端將它的操作系統、瀏覽器和其它屬性告訴服務器。

　　例如： User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; CIBA; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C; InfoPath.2; .NET4.0E)

　　Accept-Charset

　　作用：瀏覽器申明自己接收的字符集，這就是本文前面介紹的各種字符集和字符編碼，如gb2312，utf-8（通常我們說Charset包括了相應的字符編碼方案）；

　　例如：

　　Cookie/Login 頭域

　　Cookie:

　　作用： 最重要的header, 將cookie的值發送給HTTP 服務器

　　Entity頭域

　　Content-Length

　　作用：發送給HTTP服務器數據的長度。

　　例如： Content-Length: 38

　　Content-Type

　　作用：

　　例如：Content-Type: application/x-www-form-urlencoded

　　Miscellaneous 頭域

　　Referer:

　　作用： 提供了Request的上下文信息的服務器，告訴服務器我是從哪個鏈接過來的，比如從我主頁上鍊接到一個朋友那裏，他的服務器就能夠從HTTP Referer中統計出每天有多少用戶點擊我主頁上的鏈接訪問他的網站。

　　例如: Referer:http://translate.google.cn/?hl=zh-cn&tab=wT

　　Transport 頭域

　　Connection

　　例如：　Connection: keep-alive   當一個網頁打開完成後，客戶端和服務器之間用於傳輸HTTP數據的TCP連接不會關閉，如果客戶端再次訪問這個服務器上的網頁，會繼續使用這一條已經建立的連接

　　例如：  Connection: close  代表一個Request完成後，客戶端和服務器之間用於傳輸HTTP數據的TCP連接會關閉， 當客戶端再次發送Request，需要重新建立TCP連接。

　　Host（發送請求時，該報頭域是必需的）

　　作用: 請求報頭域主要用於指定被請求資源的Internet主機和端口號，它通常從HTTP URL中提取出來的

　　例如: 我們在瀏覽器中輸入：http://www.guet.edu.cn/index.html

　　瀏覽器發送的請求消息中，就會包含Host請求報頭域，如下：

　　Host：http://www.guet.edu.cn

　　此處使用缺省端口號80，若指定了端口號，則變成：Host：指定端口號

HTTP Response header

　　同樣使用Fiddler 查看Response header, 點擊Inspectors tab ->Response tab-> headers  如下圖所示

　　我們也按照Fiddler那樣把header 進行分類，這樣比較清晰也容易記憶。

　　Cache頭域

　　Date

　　作用:  生成消息的具體時間和日期

　　例如：　Date: Sat, 11 Feb 2012 11:35:14 GMT 

　　Expires

　　作用: 瀏覽器會在指定過期時間內使用本地緩存

　　例如: Expires: Tue, 08 Feb 2022 11:35:14 GMT

　　Vary

　　作用：

　　例如: Vary: Accept-Encoding

　　Cookie/Login 頭域

　　P3P

　　作用: 用於跨域設置Cookie, 這樣可以解決iframe跨域訪問cookie的問題

　　例如: P3P: CP=CURa ADMa DEVa PSAo PSDo OUR BUS UNI PUR INT DEM STA PRE COM NAV OTC NOI DSP COR

　　Set-Cookie

　　作用： 非常重要的header, 用於把cookie 發送到客戶端瀏覽器， 每一個寫入cookie都會生成一個Set-Cookie.

　　例如: Set-Cookie: sc=4c31523a; path=/; domain=.acookie.taobao.com

　　Entity頭域

　　ETag

　　作用:  和If-None-Match 配合使用。 （實例請看上節中If-None-Match的實例）

　　例如: ETag: "03f2b33c0bfcc1:0"

　　Last-Modified:

　　作用： 用於指示資源的最後修改日期和時間。（實例請看上節的If-Modified-Since的實例）

　　例如: Last-Modified: Wed, 21 Dec 2011 09:09:10 GMT

　　Content-Type

　　作用：WEB服務器告訴瀏覽器自己響應的對象的類型和字符集,

　　例如:

　　Content-Type: text/html; charset=utf-8

　　Content-Type:text/html;charset=GB2312

　　Content-Type: image/jpeg

　　Content-Length

　　指明實體正文的長度，以字節方式存儲的十進制數字來表示。在數據下行的過程中，Content-Length的方式要預先在服務器中緩存所有數據，然後所有數據再一股腦兒地發給客戶端。

　　例如: Content-Length: 19847

　　Content-Encoding

　　WEB服務器表明自己使用了什麼壓縮方法（gzip，deflate）壓縮響應中的對象。

　　例如：Content-Encoding：gzip

　　Content-Language

　　作用： WEB服務器告訴瀏覽器自己響應的對象的語言者

　　例如： Content-Language:da

　　Miscellaneous 頭域

　　Server:

　　作用：指明HTTP服務器的軟件信息

　　例如:Server: Microsoft-IIS/7.5

　　X-AspNet-Version:

　　作用：如果網站是用ASP.NET開發的，這個header用來表示ASP.NET的版本

　　例如: X-AspNet-Version: 4.0.30319

　　X-Powered-By:

　　作用：表示網站是用什麼技術開發的

　　例如： X-Powered-By: ASP.NET

　　Transport頭域

　　Connection

　　例如：　Connection: keep-alive   當一個網頁打開完成後，客戶端和服務器之間用於傳輸HTTP數據的TCP連接不會關閉，如果客戶端再次訪問這個服務器上的網頁，會繼續使用這一條已經建立的連接

　　例如：  Connection: close  代表一個Request完成後，客戶端和服務器之間用於傳輸HTTP數據的TCP連接會關閉， 當客戶端再次發送Request，需要重新建立TCP連接。

　　Location頭域

　　Location

　　作用： 用於重定向一個新的位置， 包含新的URL地址

　　實例請看304狀態實例

　　HTTP協議是無狀態的和Connection: keep-alive的區別

　　無狀態是指協議對於事務處理沒有記憶能力，服務器不知道客戶端是什麼狀態。從另一方面講，打開一個服務器上的網頁和你之前打開這個服務器上的網頁之間沒有任何聯繫。

　　HTTP是一個無狀態的面向連接的協議，無狀態不代表HTTP不能保持TCP連接，更不能代表HTTP使用的是UDP協議（無連接）。

　　從HTTP/1.1起，默認都開啓了Keep-Alive，保持連接特性，簡單地說，當一個網頁打開完成後，客戶端和服務器之間用於傳輸HTTP數據的TCP連接不會關閉，如果客戶端再次訪問這個服務器上的網頁，會繼續使用這一條已經建立的連接。

　　Keep-Alive不會永久保持連接，它有一個保持時間，可以在不同的服務器軟件（如Apache）中設定這個時間。

文章二：（轉載自：http://blog.csdn.net/gueter/article/details/1524447）

引言                                       

HTTP是一個屬於應用層的面向對象的協議，由於其簡捷、快速的方式，適用於分佈式超媒體信息系統。它於1990年提出，經過幾年的使用與發展，得到不斷地完善和擴展。目前在WWW中使用的是HTTP/1.0的第六版，HTTP/1.1的規範化工作正在進行之中，而且HTTP-NG(Next Generation of HTTP)的建議已經提出。
HTTP協議的主要特點可概括如下：
1.支持客戶/服務器模式。
2.簡單快速：客戶向服務器請求服務時，只需傳送請求方法和路徑。請求方法常用的有GET、HEAD、POST。每種方法規定了客戶與服務器聯繫的類型不同。由於HTTP協議簡單，使得HTTP服務器的程序規模小，因而通信速度很快。
3.靈活：HTTP允許傳輸任意類型的數據對象。正在傳輸的類型由Content-Type加以標記。
4.無連接：無連接的含義是限制每次連接只處理一個請求。服務器處理完客戶的請求，並收到客戶的應答後，即斷開連接。採用這種方式可以節省傳輸時間。
5.無狀態：HTTP協議是無狀態協議。無狀態是指協議對於事務處理沒有記憶能力。缺少狀態意味着如果後續處理需要前面的信息，則它必須重傳，這樣可能導致每次連接傳送的數據量增大。另一方面，在服務器不需要先前信息時它的應答就較快。

 

 

一、HTTP協議詳解之URL篇

    http（超文本傳輸協議）是一個基於請求與響應模式的、無狀態的、應用層的協議，常基於TCP的連接方式，HTTP1.1版本中給出一種持續連接的機制，絕大多數的Web開發，都是構建在HTTP協議之上的Web應用。

HTTP URL (URL是一種特殊類型的URI，包含了用於查找某個資源的足夠的信息)的格式如下：
http://host[":"port][abs_path]
http表示要通過HTTP協議來定位網絡資源；host表示合法的Internet主機域名或者IP地址；port指定一個端口號，爲空則使用缺省端口80；abs_path指定請求資源的URI；如果URL中沒有給出abs_path，那麼當它作爲請求URI時，必須以“/”的形式給出，通常這個工作瀏覽器自動幫我們完成。
eg:
1、輸入：www.guet.edu.cn
瀏覽器自動轉換成：http://www.guet.edu.cn/
2、http:192.168.0.116:8080/index.jsp 

 

 

 

二、HTTP協議詳解之請求篇

    http請求由三部分組成，分別是：請求行、消息報頭、請求正文

1、請求行以一個方法符號開頭，以空格分開，後面跟着請求的URI和協議的版本，格式如下：Method Request-URI HTTP-Version CRLF 
其中 Method表示請求方法；Request-URI是一個統一資源標識符；HTTP-Version表示請求的HTTP協議版本；CRLF表示回車和換行（除了作爲結尾的CRLF外，不允許出現單獨的CR或LF字符）。

請求方法（所有方法全爲大寫）有多種，各個方法的解釋如下：
GET     請求獲取Request-URI所標識的資源
POST    在Request-URI所標識的資源後附加新的數據
HEAD    請求獲取由Request-URI所標識的資源的響應消息報頭
PUT     請求服務器存儲一個資源，並用Request-URI作爲其標識
DELETE  請求服務器刪除Request-URI所標識的資源
TRACE   請求服務器回送收到的請求信息，主要用於測試或診斷
CONNECT 保留將來使用
OPTIONS 請求查詢服務器的性能，或者查詢與資源相關的選項和需求
應用舉例：
GET方法：在瀏覽器的地址欄中輸入網址的方式訪問網頁時，瀏覽器採用GET方法向服務器獲取資源，eg:GET /form.html HTTP/1.1 (CRLF)

POST方法要求被請求服務器接受附在請求後面的數據，常用於提交表單。
eg：POST /reg.jsp HTTP/ (CRLF)
Accept:image/gif,image/x-xbit,... (CRLF)
...
HOST:www.guet.edu.cn (CRLF)
Content-Length:22 (CRLF)
Connection:Keep-Alive (CRLF)
Cache-Control:no-cache (CRLF)
(CRLF)         //該CRLF表示消息報頭已經結束，在此之前爲消息報頭
user=jeffrey&pwd=1234  //此行以下爲提交的數據

HEAD方法與GET方法幾乎是一樣的，對於HEAD請求的迴應部分來說，它的HTTP頭部中包含的信息與通過GET請求所得到的信息是相同的。利用這個方法，不必傳輸整個資源內容，就可以得到Request-URI所標識的資源的信息。該方法常用於測試超鏈接的有效性，是否可以訪問，以及最近是否更新。
2、請求報頭後述
3、請求正文(略) 

 

三、HTTP協議詳解之響應篇

    在接收和解釋請求消息後，服務器返回一個HTTP響應消息。

HTTP響應也是由三個部分組成，分別是：狀態行、消息報頭、響應正文
1、狀態行格式如下：
HTTP-Version Status-Code Reason-Phrase CRLF
其中，HTTP-Version表示服務器HTTP協議的版本；Status-Code表示服務器發回的響應狀態代碼；Reason-Phrase表示狀態代碼的文本描述。
狀態代碼有三位數字組成，第一個數字定義了響應的類別，且有五種可能取值：
1xx：指示信息--表示請求已接收，繼續處理
2xx：成功--表示請求已被成功接收、理解、接受
3xx：重定向--要完成請求必須進行更進一步的操作
4xx：客戶端錯誤--請求有語法錯誤或請求無法實現
5xx：服務器端錯誤--服務器未能實現合法的請求
常見狀態代碼、狀態描述、說明：
200 OK      //客戶端請求成功
400 Bad Request  //客戶端請求有語法錯誤，不能被服務器所理解
401 Unauthorized //請求未經授權，這個狀態代碼必須和WWW-Authenticate報                 //頭域一起使用
403 Forbidden  //服務器收到請求，但是拒絕提供服務
404 Not Found  //請求資源不存在，eg：輸入了錯誤的URL
500 Internal Server Error //服務器發生不可預期的錯誤
503 Server Unavailable  //服務器當前不能處理客戶端的請求，一段時間後，                         //可能恢復正常
eg：HTTP/1.1 200 OK （CRLF）

2、響應報頭後述

3、響應正文就是服務器返回的資源的內容 

 

四、HTTP協議詳解之消息報頭篇

    HTTP消息由客戶端到服務器的請求和服務器到客戶端的響應組成。請求消息和響應消息都是由開始行（對於請求消息，開始行就是請求行，對於響應消息，開始行就是狀態行），消息報頭（可選），空行（只有CRLF的行），消息正文（可選）組成。

HTTP消息報頭包括普通報頭、請求報頭、響應報頭、實體報頭。
每一個報頭域都是由名字+“：”+空格+值 組成，消息報頭域的名字是大小寫無關的。

1、普通報頭
在普通報頭中，有少數報頭域用於所有的請求和響應消息，但並不用於被傳輸的實體，只用於傳輸的消息。
eg：
Cache-Control   用於指定緩存指令，緩存指令是單向的（響應中出現的緩存指令在請求中未必會出現），且是獨立的（一個消息的緩存指令不會影響另一個消息處理的緩存機制），HTTP1.0使用的類似的報頭域爲Pragma。
請求時的緩存指令包括：no-cache（用於指示請求或響應消息不能緩存）、no-store、max-age、max-stale、min-fresh、only-if-cached;
響應時的緩存指令包括：public、private、no-cache、no-store、no-transform、must-revalidate、proxy-revalidate、max-age、s-maxage.
eg：爲了指示IE瀏覽器（客戶端）不要緩存頁面，服務器端的JSP程序可以編寫如下：response.sehHeader("Cache-Control","no-cache");
//response.setHeader("Pragma","no-cache");作用相當於上述代碼，通常兩者//合用
這句代碼將在發送的響應消息中設置普通報頭域：Cache-Control:no-cache

Date普通報頭域表示消息產生的日期和時間

Connection普通報頭域允許發送指定連接的選項。例如指定連接是連續，或者指定“close”選項，通知服務器，在響應完成後，關閉連接

2、請求報頭
請求報頭允許客戶端向服務器端傳遞請求的附加信息以及客戶端自身的信息。
常用的請求報頭
Accept
Accept請求報頭域用於指定客戶端接受哪些類型的信息。eg：Accept：image/gif，表明客戶端希望接受GIF圖象格式的資源；Accept：text/html，表明客戶端希望接受html文本。
Accept-Charset
Accept-Charset請求報頭域用於指定客戶端接受的字符集。eg：Accept-Charset:iso-8859-1,gb2312.如果在請求消息中沒有設置這個域，缺省是任何字符集都可以接受。
Accept-Encoding
Accept-Encoding請求報頭域類似於Accept，但是它是用於指定可接受的內容編碼。eg：Accept-Encoding:gzip.deflate.如果請求消息中沒有設置這個域服務器假定客戶端對各種內容編碼都可以接受。
Accept-Language
Accept-Language請求報頭域類似於Accept，但是它是用於指定一種自然語言。eg：Accept-Language:zh-cn.如果請求消息中沒有設置這個報頭域，服務器假定客戶端對各種語言都可以接受。
Authorization
Authorization請求報頭域主要用於證明客戶端有權查看某個資源。當瀏覽器訪問一個頁面時，如果收到服務器的響應代碼爲401（未授權），可以發送一個包含Authorization請求報頭域的請求，要求服務器對其進行驗證。
Host（發送請求時，該報頭域是必需的）
Host請求報頭域主要用於指定被請求資源的Internet主機和端口號，它通常從HTTP URL中提取出來的，eg：
我們在瀏覽器中輸入：http://www.guet.edu.cn/index.html
瀏覽器發送的請求消息中，就會包含Host請求報頭域，如下：
Host：www.guet.edu.cn
此處使用缺省端口號80，若指定了端口號，則變成：Host：www.guet.edu.cn:指定端口號
User-Agent
我們上網登陸論壇的時候，往往會看到一些歡迎信息，其中列出了你的操作系統的名稱和版本，你所使用的瀏覽器的名稱和版本，這往往讓很多人感到很神奇，實際上，服務器應用程序就是從User-Agent這個請求報頭域中獲取到這些信息。User-Agent請求報頭域允許客戶端將它的操作系統、瀏覽器和其它屬性告訴服務器。不過，這個報頭域不是必需的，如果我們自己編寫一個瀏覽器，不使用User-Agent請求報頭域，那麼服務器端就無法得知我們的信息了。
請求報頭舉例：
GET /form.html HTTP/1.1 (CRLF)
Accept:image/gif,image/x-xbitmap,image/jpeg,application/x-shockwave-flash,application/vnd.ms-excel,application/vnd.ms-powerpoint,application/msword,*/* (CRLF)
Accept-Language:zh-cn (CRLF)
Accept-Encoding:gzip,deflate (CRLF)
If-Modified-Since:Wed,05 Jan 2007 11:21:25 GMT (CRLF)
If-None-Match:W/"80b1a4c018f3c41:8317" (CRLF)
User-Agent:Mozilla/4.0(compatible;MSIE6.0;Windows NT 5.0) (CRLF)
Host:www.guet.edu.cn (CRLF)
Connection:Keep-Alive (CRLF)
(CRLF)

3、響應報頭
響應報頭允許服務器傳遞不能放在狀態行中的附加響應信息，以及關於服務器的信息和對Request-URI所標識的資源進行下一步訪問的信息。
常用的響應報頭
Location
Location響應報頭域用於重定向接受者到一個新的位置。Location響應報頭域常用在更換域名的時候。
Server
Server響應報頭域包含了服務器用來處理請求的軟件信息。與User-Agent請求報頭域是相對應的。下面是
Server響應報頭域的一個例子：
Server：Apache-Coyote/1.1
WWW-Authenticate
WWW-Authenticate響應報頭域必須被包含在401（未授權的）響應消息中，客戶端收到401響應消息時候，併發送Authorization報頭域請求服務器對其進行驗證時，服務端響應報頭就包含該報頭域。
eg：WWW-Authenticate:Basic realm="Basic Auth Test!"  //可以看出服務器對請求資源採用的是基本驗證機制。

4、實體報頭
請求和響應消息都可以傳送一個實體。一個實體由實體報頭域和實體正文組成，但並不是說實體報頭域和實體正文要在一起發送，可以只發送實體報頭域。實體報頭定義了關於實體正文（eg：有無實體正文）和請求所標識的資源的元信息。
常用的實體報頭
Content-Encoding
Content-Encoding實體報頭域被用作媒體類型的修飾符，它的值指示了已經被應用到實體正文的附加內容的編碼，因而要獲得Content-Type報頭域中所引用的媒體類型，必須採用相應的解碼機制。Content-Encoding這樣用於記錄文檔的壓縮方法，eg：Content-Encoding：gzip
Content-Language
Content-Language實體報頭域描述了資源所用的自然語言。沒有設置該域則認爲實體內容將提供給所有的語言閱讀
者。eg：Content-Language:da
Content-Length
Content-Length實體報頭域用於指明實體正文的長度，以字節方式存儲的十進制數字來表示。
Content-Type
Content-Type實體報頭域用語指明發送給接收者的實體正文的媒體類型。eg：
Content-Type:text/html;charset=ISO-8859-1
Content-Type:text/html;charset=GB2312
Last-Modified
Last-Modified實體報頭域用於指示資源的最後修改日期和時間。
Expires
Expires實體報頭域給出響應過期的日期和時間。爲了讓代理服務器或瀏覽器在一段時間以後更新緩存中(再次訪問曾訪問過的頁面時，直接從緩存中加載，縮短響應時間和降低服務器負載)的頁面，我們可以使用Expires實體報頭域指定頁面過期的時間。eg：Expires：Thu，15 Sep 2006 16:23:12 GMT
HTTP1.1的客戶端和緩存必須將其他非法的日期格式（包括0）看作已經過期。eg：爲了讓瀏覽器不要緩存頁面，我們也可以利用Expires實體報頭域，設置爲0，jsp中程序如下：response.setDateHeader("Expires","0");

 

 

五、利用telnet觀察http協議的通訊過程

    實驗目的及原理：
    利用MS的telnet工具，通過手動輸入http請求信息的方式，向服務器發出請求，服務器接收、解釋和接受請求後，會返回一個響應，該響應會在telnet窗口上顯示出來，從而從感性上加深對http協議的通訊過程的認識。

    實驗步驟：

1、打開telnet
1.1 打開telnet
運行-->cmd-->telnet

1.2 打開telnet回顯功能
set localecho

2、連接服務器併發送請求
2.1 open www.guet.edu.cn 80  //注意端口號不能省略

    HEAD /index.asp HTTP/1.0
    Host:www.guet.edu.cn
   
   /*我們可以變換請求方法,請求桂林電子主頁內容,輸入消息如下*/
    open www.guet.edu.cn 80
  
    GET /index.asp HTTP/1.0  //請求資源的內容
    Host:www.guet.edu.cn  

2.2 open www.sina.com.cn 80  //在命令提示符號下直接輸入telnetwww.sina.com.cn 80
    HEAD /index.asp HTTP/1.0
    Host:www.sina.com.cn
 

3 實驗結果：

3.1 請求信息2.1得到的響應是:

HTTP/1.1 200 OK                                              //請求成功
Server: Microsoft-IIS/5.0                                    //web服務器
Date: Thu,08 Mar 200707:17:51 GMT
Connection: Keep-Alive                                
Content-Length: 23330
Content-Type: text/html
Expries: Thu,08 Mar 2007 07:16:51 GMT
Set-Cookie: ASPSESSIONIDQAQBQQQB=BEJCDGKADEDJKLKKAJEOIMMH; path=/
Cache-control: private

//資源內容省略

3.2 請求信息2.2得到的響應是:

HTTP/1.0 404 Not Found       //請求失敗
Date: Thu, 08 Mar 2007 07:50:50 GMT
Server: Apache/2.0.54 <Unix>
Last-Modified: Thu, 30 Nov 2006 11:35:41 GMT
ETag: "6277a-415-e7c76980"
Accept-Ranges: bytes
X-Powered-By: mod_xlayout_jh/0.0.1vhs.markII.remix
Vary: Accept-Encoding
Content-Type: text/html
X-Cache: MISS from zjm152-78.sina.com.cn
Via: 1.0 zjm152-78.sina.com.cn:80<squid/2.6.STABLES-20061207>
X-Cache: MISS from th-143.sina.com.cn
Connection: close

失去了跟主機的連接

按任意鍵繼續...

4 .注意事項：1、出現輸入錯誤，則請求不會成功。
          2、報頭域不分大小寫。
          3、更深一步瞭解HTTP協議，可以查看RFC2616，在http://www.letf.org/rfc上找到該文件。
          4、開發後臺程序必須掌握http協議

 

六、HTTP協議相關技術補充

    1、基礎：
    高層協議有：文件傳輸協議FTP、電子郵件傳輸協議SMTP、域名系統服務DNS、網絡新聞傳輸協議NNTP和HTTP協議等
中介由三種：代理(Proxy)、網關(Gateway)和通道(Tunnel)，一個代理根據URI的絕對格式來接受請求，重寫全部或部分消息，通過 URI的標識把已格式化過的請求發送到服務器。網關是一個接收代理，作爲一些其它服務器的上層，並且如果必須的話，可以把請求翻譯給下層的服務器協議。一 個通道作爲不改變消息的兩個連接之間的中繼點。當通訊需要通過一箇中介(例如：防火牆等)或者是中介不能識別消息的內容時，通道經常被使用。
     代理(Proxy)：一箇中間程序，它可以充當一個服務器，也可以充當一個客戶機，爲其它客戶機建立請求。請求是通過可能的翻譯在內部或經過傳遞到其它的 服務器中。一個代理在發送請求信息之前，必須解釋並且如果可能重寫它。代理經常作爲通過防火牆的客戶機端的門戶，代理還可以作爲一個幫助應用來通過協議處 理沒有被用戶代理完成的請求。
網關(Gateway)：一個作爲其它服務器中間媒介的服務器。與代理不同的是，網關接受請求就好象對被請求的資源來說它就是源服務器；發出請求的客戶機並沒有意識到它在同網關打交道。
　　網關經常作爲通過防火牆的服務器端的門戶，網關還可以作爲一個協議翻譯器以便存取那些存儲在非HTTP系統中的資源。
    通道(Tunnel)：是作爲兩個連接中繼的中介程序。一旦激活，通道便被認爲不屬於HTTP通訊，儘管通道可能是被一個HTTP請求初始化的。當被中繼 的連接兩端關閉時，通道便消失。當一個門戶(Portal)必須存在或中介(Intermediary)不能解釋中繼的通訊時通道被經常使用。


2、協議分析的優勢—HTTP分析器檢測網絡攻擊
以模塊化的方式對高層協議進行分析處理，將是未來入侵檢測的方向。
HTTP及其代理的常用端口80、3128和8080在network部分用port標籤進行了規定

3、HTTP協議Content Lenth限制漏洞導致拒絕服務攻擊
使用POST方法時，可以設置ContentLenth來定義需要傳送的數據長度，例如ContentLenth:999999999，在傳送完成前，內 存不會釋放，攻擊者可以利用這個缺陷，連續向WEB服務器發送垃圾數據直至WEB服務器內存耗盡。這種攻擊方法基本不會留下痕跡。
http://www.cnpaf.net/Class/HTTP/0532918532667330.html


4、利用HTTP協議的特性進行拒絕服務攻擊的一些構思
服務器端忙於處理攻擊者僞造的TCP連接請求而無暇理睬客戶的正常請求（畢竟客戶端的正常請求比率非常之小），此時從正常客戶的角度看來，服務器失去響應，這種情況我們稱作：服務器端受到了SYNFlood攻擊（SYN洪水攻擊）。
而Smurf、TearDrop等是利用ICMP報文來Flood和IP碎片攻擊的。本文用“正常連接”的方法來產生拒絕服務攻擊。
19端口在早期已經有人用來做Chargen攻擊了，即Chargen_Denial_of_Service，但是！他們用的方法是在兩臺Chargen 服務器之間產生UDP連接，讓服務器處理過多信息而DOWN掉，那麼，幹掉一臺WEB服務器的條件就必須有2個：1.有Chargen服務2.有HTTP 服務
方法：攻擊者僞造源IP給N臺Chargen發送連接請求（Connect），Chargen接收到連接後就會返回每秒72字節的字符流（實際上根據網絡實際情況，這個速度更快）給服務器。


5、Http指紋識別技術
   Http指紋識別的原理大致上也是相同的：記錄不同服務器對Http協議執行中的微小差別進行識別.Http指紋識別比TCP/IP堆棧指紋識別複雜許 多,理由是定製Http服務器的配置文件、增加插件或組件使得更改Http的響應信息變的很容易,這樣使得識別變的困難；然而定製TCP/IP堆棧的行爲 需要對核心層進行修改,所以就容易識別.
      要讓服務器返回不同的Banner信息的設置是很簡單的,象Apache這樣的開放源代碼的Http服務器,用戶可以在源代碼裏修改Banner信息,然 後重起Http服務就生效了；對於沒有公開源代碼的Http服務器比如微軟的IIS或者是Netscape,可以在存放Banner信息的Dll文件中修 改,相關的文章有討論的,這裏不再贅述,當然這樣的修改的效果還是不錯的.另外一種模糊Banner信息的方法是使用插件。
常用測試請求：
1：HEAD/Http/1.0發送基本的Http請求
2：DELETE/Http/1.0發送那些不被允許的請求,比如Delete請求
3：GET/Http/3.0發送一個非法版本的Http協議請求
4：GET/JUNK/1.0發送一個不正確規格的Http協議請求
Http指紋識別工具Httprint,它通過運用統計學原理,組合模糊的邏輯學技術,能很有效的確定Http服務器的類型.它可以被用來收集和分析不同Http服務器產生的簽名。


6、其他：爲了提高用戶使用瀏覽器時的性能，現代瀏覽器還支持併發的訪問方式，瀏覽一個網頁時同時建立多個連接，以迅速獲得一個網頁上的多個圖標，這樣能更快速完成整個網頁的傳輸。
HTTP1.1中提供了這種持續連接的方式，而下一代HTTP協議：HTTP-NG更增加了有關會話控制、豐富的內容協商等方式的支持，來提供
更高效率的連接。