爬蟲---之---wget使用

wget下載命令

wget --limit-rate=200k -bc https://xiazai.xqishu.com/txt/鬼吹燈.txt

• limit-rate=200k 下載速度
• -b 後臺下載
• -c 斷點續傳
• -U “Windows IE 10.0” 指定User-Agent
• –mirror 鏡像某個網站
• -p 下載頁面中的所有相關資源
• -r 遞歸下載網頁所有鏈接

下載整個網站的目錄及文件

wget -c --mirror -U "Mozilla" -p --convert-links https://requests.readthedocs.io