Wget入門使用教程

概述

簡介

Wget是Linux系統下的一款工具，用於從遠程服務器恢復備份到本地服務器，支持HTTP，HTTPS和FTP協議，可以使用 HTTP 代理服務器（對安全強度很高的系統而言，一般不會將自己的系統直接暴露在互聯網上，所以支持代理是下載軟件必須有的功能）。所謂的自動下載是指，Wget可以在用戶退出系統的之後在後臺執行。這意味這你可以登錄系統，啓動一個Wget下載任務，然後退出系統，Wget將在後臺執行直到任務完成。

Wget可以跟蹤HTML頁面上的鏈接依次下載來創建遠程服務器的本地版本，完全重建原始站點的目錄結構。這又常被稱作”遞歸下載”。在遞歸下載的時候，Wget遵循Robot Exclusion標準(/robots.txt)。Wget可以在下載的同時，將鏈接轉換成指向本地文件，以方便離線瀏覽。

Wget在帶寬很窄的情況下和不穩定網絡中有很強的適應性。如果是由於網絡的原因下載失敗，Wget會不斷的嘗試，直到整個文件下載完畢。如果是服務器打斷下載過程，它會再次聯到服務器上從停止的地方繼續下載。這對從那些限定鏈接時間的服務器上下載大文件非常有用。即斷點續傳功能。

安裝

Linux

# 編譯安裝wget，需先下載得到壓縮包
tar zxvf wget-1.9.1.tar.gz 
cd wget-1.9.1 
./configure 
make 
make install

Windows

下載地址，下載得到一個exe文件，一步步 next 即可。
設置環境變量GNU_HOME：GNU_HOME=C:\Program Files (x86)\GnuWin32
在Path 環境變量中添加：%GNU_HOME%\bin，然後就可以使用Wget命令。

使用

命令參數

實例

1. wget默認會以最後一個符合”/”的後面的字符來命令，對於動態鏈接的下載通常文件名會不正確。
   wget http://www.minjieren.com/download?id=1080
2. 使用wget –limit -rate限速下載，使用wget -O下載並以不同的文件名保存，wget -c斷點續傳，-b後臺下載：
   wget -O wordpress.zip -c -b --limit-rate=300k http://www.minjieren.com/wordpress-3.1-zh_CN.zip
   執行Wget時，默認會佔用全部可能的寬帶下載。
3. 僞裝代理名稱下載
   命令：
   wget --user-agent=“Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16” http://www.minjieren.com/wordpress-3.1-zh_CN.zip
   說明：有些網站能通過根據判斷代理名稱不是瀏覽器而拒絕你的下載請求。不過你可以通過–user-agent參數僞裝。
   實例7：使用wget –spider測試下載鏈接
   命令：wget --spider URL
   說明：當你打算進行定時下載，你應該在預定時間測試下載鏈接是否有效。我們可以增加–spider參數進行檢查。

wget --spider URL

如果下載鏈接正確，將會顯示

wget --spider URL
Spider mode enabled. Check if remote file exists.
HTTP request sent, awaiting response… 200 OK
Length: unspecified [text/html]
Remote file exists and could contain further links,
but recursion is disabled – not retrieving.

這保證了下載能在預定的時間進行，但當你給錯了一個鏈接，將會顯示如下錯誤

wget --spider url
Spider mode enabled. Check if remote file exists.
HTTP request sent, awaiting response… 404 Not Found
Remote file does not exist – broken link!!!

你可以在以下幾種情況下使用spider參數：

定時下載之前進行檢查
間隔檢測網站是否可用
檢查網站頁面的死鏈接

實例8：使用wget –tries增加重試次數
命令：wget --tries=40 URL
說明：wget默認重試20次連接下載文件。如果需要，你可以使用–tries增加重試次數。

實例9：使用wget -i下載多個文件
命令：wget -i filelist.txt
說明：
首先，保存一份下載鏈接文件
cat > filelist.txt
url1
url2
url3
url4
接着使用這個文件和參數-i下載

實例10：使用wget –mirror鏡像網站
命令：wget --mirror -p --convert-links -P ./LOCAL URL
說明：
下載整個網站到本地。
–miror:開戶鏡像下載
-p:下載所有爲了html頁面顯示正常的文件
–convert-links:下載後，轉換成本地的鏈接
-P ./LOCAL：保存所有文件和目錄到本地指定目錄

實例11：使用wget –reject過濾指定格式下載
命令：wget --reject=gif ur
說明：下載一個網站，但過濾掉特定類型文件。
實例12：使用wget -o把下載信息存入日誌文件
命令：wget -o download.log URL
說明：不希望下載信息直接顯示在終端而是在一個日誌文件，可以使用

實例13：使用wget -Q限制總下載文件大小
wget -Q5m -i filelist.txt
說明：當你想要下載的文件超過5M而退出下載。這個參數對單個文件下載不起作用，只能遞歸下載時纔有效。
實例14：使用wget -r -A下載指定格式文件
命令：wget -r -A.pdf url
說明：可以在以下情況使用該功能：下載一個網站的所有圖片或者視頻、PDF文件
實例15：使用wget FTP下載
命令：wget ftp-url或者wget --ftp-user=USERNAME --ftp-password=PASSWORD url
說明：可以使用wget來完成ftp鏈接的下載。
使用wget匿名ftp下載：wget ftp-url
使用wget用戶名和密碼認證的ftp下載：wget --ftp-user=USERNAME --ftp-password=PASSWORD url

問題

Wget報錯無法建立SSL連接

參考