URI和URL的概念和舉例
簡單的來講,URL就是在瀏覽器端輸入的 http://www.baidu.com 這個字符串。
在理解URL之前,首先要理解URI的概念。
什麼是URI?
Web上每種可用的資源,如 HTML文檔、圖像、視頻片段、程序等都由一個通用資源標誌符(Universal Resource Identifier, URI)進行定位。
URI通常由三部分組成:
①訪問資源的命名機制;
②存放資源的主機名;
③資源自身 的名稱,由路徑表示。
如下面的URI:
http://www.why.com.cn/myhtml/html1223/
我們可以這樣解釋它:
①這是一個可以通過HTTP協議訪問的資源,
②位於主機 www.why.com.cn上,
③通過路徑“/myhtml/html1223/”訪問。
URL的理解和舉例
URL是URI的一個子集。它是Uniform Resource Locator的縮寫,譯爲“統一資源定位 符”。
通俗地說,URL是Internet上描述信息資源的字符串,主要用在各種WWW客戶程序和服務器程序上。
採用URL可以用一種統一的格式來描述各種信息資源,包括文件、服務器的地址和目錄等。
URL的一般格式爲(帶方括號[]的爲可選項):
protocol :// hostname[:port] / path / [;parameters][?query]#fragment
URL的格式由三部分組成:
①第一部分是協議(或稱爲服務方式)。
②第二部分是存有該資源的主機IP地址(有時也包括端口號)。
③第三部分是主機資源的具體地址,如目錄和文件名等。
第一部分和第二部分用“://”符號隔開,
第二部分和第三部分用“/”符號隔開。
第一部分和第二部分是不可缺少的,第三部分有時可以省略。
URL和URI簡單比較
URI屬於URL更低層次的抽象,一種字符串文本標準。
換句話說,URI屬於父類,而URL屬於URI的子類。URL是URI的一個子集。
URI的定義是:統一資源標識符;
URL的定義是:統一資源定位符。
二者的區別在於,URI表示請求服務器的路徑,定義這麼一個資源。
而URL同時說明要如何訪問這個資源(http://)。
下面來看看兩個URL的小例子
1.HTTP協議的URL示例:
使用超級文本傳輸協議HTTP,提供超級文本信息服務的資源。
例:http://www.peopledaily.com.cn/channel/welcome.htm
其計算機域名爲www.peopledaily.com.cn。
超級文本文件(文件類型爲.html)是在目錄 /channel下的welcome.htm。
這是中國人民日報的一臺計算機。
例:http://www.rol.cn.net/talk/talk1.htm
其計算機域名爲www.rol.cn.net。
超級文本文件(文件類型爲.html)是在目錄/talk下的talk1.htm。
這是瑞得聊天室的地址,可由此進入瑞得聊天室的第1室。
2.文件的URL
用URL表示文件時,服務器方式用file表示,後面要有主機IP地址、文件的存取路 徑(即目錄)和文件名等信息。
有時可以省略目錄和文件名,但“/”符號不能省略。
例:file://ftp.yoyodyne.com/pub/files/foobar.txt
上面這個URL代表存放在主機ftp.yoyodyne.com上的pub/files/目錄下的一個文件,文件名是foobar.txt。
例:file://ftp.yoyodyne.com/pub
代表主機ftp.yoyodyne.com上的目錄/pub。
例:file://ftp.yoyodyne.com/
代表主機ftp.yoyodyne.com的根目錄。
爬蟲最主要的處理對象就是URL,它根據URL地址取得所需要的文件內容,然後對它 進行進一步的處理。
因此,準確地理解URL對理解網絡爬蟲至關重要。