shell中使用wget命令

    wget命令用来从指定的URL下载文件。wget非常稳定,还可以加--spider选项用来检测url是否正常。

wget (选项) (参数:url)
实例:

使用wget下载单个文件

wget http://www.linuxde.net/testfile.zip


下载并以不同的文件名保存

wget -O wordpress.zip http://www.linuxde.net/download.aspx?id=1080


wget限速下载

wget --limit-rate=300k http://www.linuxde.net/testfile.zip



使用wget断点续传

 wget -c http://www.linuxde.net/testfile.zip


使用wget后台下载

wget -b http://www.linuxde.net/testfile.zip

Continuing in background, pid 1840. Output will be written to `wget-log'. 对于下载非常大的文件的时候,我们可以使用参数-b进行后台下载,你可以使用以下命令来察看下载进度:

 tail -f wget-log

伪装代理名称下载

 wget --user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16" http://www.linuxde.net/testfile.zip

有些网站能通过根据判断代理名称不是浏览器而拒绝你的下载请求。不过你可以通过--user-agent参数伪装。

你可以在以下几种情况下使用--spider参数, 使用--tries增加重试次数。

定时下载之前进行检查 

间隔检测网站是否可用 

检查网站页面的死链接

wget --spider URL



下载多个文件

 wget -i filelist.txt

首先,保存一份下载链接文件: 

cat > filelist.txt 

url1

url2 

url3

url4 

接着使用这个文件和参数-i下载。

批量下载文件:wget --input-file=wget-list --continue --directory-prefix="存放目录"

wget --input-file=ftp://ftp.lfs-matrix.net/pub/lfs/lfs-packages/7.7-systemd/ --continue --directory-prefix=/root/toot/

镜像网站

wget --mirror -p --convert-links -P ./LOCAL URL

下载整个网站到本地。 --miror开户镜像下载。 -p下载所有为了html页面显示正常的文件。 --convert-links下载后,转换成本地的链接。 -P ./LOCAL保存所有文件和目录到本地指定目录。

过滤指定格式下载

wget --reject=gif url

下载一个网站,但你不希望下载图片,可以使用这条命令。

把下载信息存入日志文件 wget -o download.log URL 不希望下载信息直接显示在终端而是在一个日志文件,可以使用。

限制总下载文件大小

 wget -Q5m -i filelist.txt

当你想要下载的文件超过5M而退出下载,你可以使用。注意:这个参数对单个文件下载不起作用,只能递归下载时才有效。

下载指定格式文件

wget -r -A.pdf url

可以在以下情况使用该功能: 下载一个网站的所有图片。 下载一个网站的所有视频。 下载一个网站的所有PDF文件。

FTP下载 ;可以使用wget来完成ftp链接的下载。 

使用wget匿名ftp下载:

wget ftp-url

 

使用wget用户名和密码认证的ftp下载:

 wget --ftp-user=USERNAME --ftp-password=PASSWORD url



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章