使用wget下載整個網站或目錄【轉】

轉自:http://jnote.cn/blog/shell/wget-download.html

用wget下載東西,的確很方便,它會自動重連並斷點續傳。讓人很放心。
經常要下載一個網站或網站的某個目錄。

將wget命令放到這裏備用:
下載一個目錄,例如網站的yourdir

wget -U "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; GTB5)" -r-p -k -np -Pmydir -nc -o down.loghttp://www.yourdomain.com/yourdir/index.html

如果要想下載整個網站,最好去除-np參數。

wget -U "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; GTB5)" -r-p -k -nc -o down.log http://www.yourdomain.com/index.html

-U 修改agent,僞裝成IE貨firefox等
-r 遞歸;對於HTTP主機,wget首先下載URL指定的文件,然後(如果該文件是一個HTML文檔的話)遞歸下載該文件所引用(超級連接)的所有文件(遞歸深度由參數-l指定)。對FTP主機,該參數意味着要下載URL指定的目錄中的所有文件,遞歸方法與HTTP主機類似。
-c 指定斷點續傳功能。實際上,wget默認具有斷點續傳功能,只有當你使用別的ftp工具下載了某一文件的一部分,並希望wget接着完成此工作的時候,才需要指定此參數。
-nc 不下載已經存在的文件
-np 表示不跟隨鏈接,只下載指定目錄及子目錄裏的東西;
-p 下載頁面顯示所需的所有文件。比如頁面中包含了圖片,但是圖片並不在/yourdir目錄中,而在/images目錄下,有此參數,圖片依然會被正常下載。
-k 修復下載文件中的絕對連接爲相對連接,這樣方便本地閱讀。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章