wget下載整個網站
可以使用下面的命令 wget -r -p -k -np http://hi.baidu.com/phps , -r 表示遞歸下載,會下載所有的鏈接,不過要注意的是,不要單獨使用這個參數,因爲如果你要下載的網站也有別的網站的鏈接,wget也會把別的網站的東西下載 下來,由於互聯網的特性,很有可能你會把整個互聯網給下載下來 --,所以要加上 -np這個參數,表示不下載別的站點的鏈接. -k表示將下載的網頁裏的鏈接修改爲本地鏈接.-p獲得所以顯示網頁所需的元素,比如圖片什麼的.
另外還有其他的一些參數可以使用:
-c表示斷點續傳
-t 100表示重試100次,-t 0表示無窮次重試
另外可以將要下載的url寫到一個文件中,每個url一行,使用這樣的命令 wget -i download.txt.
--reject=avi,rmvb 表示不下載avi,rmvb的文件,--accept=jpg,jpeg,表示只下載jpg,jpeg的文件.
可以在用戶目錄下建立一個.wgetrc的文件(windows裏面好像不能直接建立這樣的文件,windows會認爲沒有文件名--),裏面寫上 http-proxy = 123.456.78.9:80,然後在加上參數 --proxy=on,如果需要密碼,再加上下面的參數 --proxy-user=username, --proxy-passwd=password
用wget下載整個網站
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
通過spring的攔截器實現Filter的功能
sinbo
2018-08-27 19:44:58
beanshell簡介
sinbo
2018-08-27 19:44:58
ClickStream--看誰在系統裏,都在做什麼
sinbo
2018-08-27 19:44:58
jPortlet 1.0--開放源代碼Portlet容器已經出臺
liuflei3139
2018-08-27 17:51:25
Cannot show the image generated by jfreechart
iteye_20852
2018-08-27 07:32:11
用VC和MinGW導出dll的def和lib(a)文件
iteye_16355
2018-08-27 05:18:16
下載最新的firefox源碼並編譯
iteye_16355
2018-08-27 05:18:13
使用google breakpad生成dump文件
iteye_16355
2018-08-27 05:18:13
一個很完善的war3錄像分析庫War3RepLib源碼
iteye_16355
2018-08-27 05:18:09
valgrind中文命令行幫助
iteye_16355
2018-08-27 05:18:09
HOOK IAT的代碼與例子,備忘
iteye_16355
2018-08-27 05:18:09
Windows下用C語言獲取進程cpu使用率,內存使用,IO情況
iteye_16355
2018-08-27 05:18:09
[回到起點]看看Java HashMap的源碼和實現
zealvampire
2018-08-27 01:18:52
Jbpm better practice - Jbpm使用的一些建議
zealvampire
2018-08-27 01:18:49