爬虫---之---wget使用

wget下载命令

wget --limit-rate=200k -bc https://xiazai.xqishu.com/txt/鬼吹灯.txt

• limit-rate=200k 下载速度
• -b 后台下载
• -c 断点续传
• -U “Windows IE 10.0” 指定User-Agent
• –mirror 镜像某个网站
• -p 下载页面中的所有相关资源
• -r 递归下载网页所有链接

下载整个网站的目录及文件

wget -c --mirror -U "Mozilla" -p --convert-links https://requests.readthedocs.io