用途說明
curl命令是一個功能強大的網絡工具，它能夠通過http、ftp等方式下載文件，也能夠上傳文件。其實curl遠不止前面所說的那些功能，大家可以通過man curl閱讀手冊頁獲取更多的信息。類似的工具還有wget。
curl命令使用了libcurl庫來實現，libcurl庫常用在C程序中用來處理HTTP請求，curlpp是libcurl的一個C++封裝，這幾個東西可以用在抓取網頁、網絡監控等方面的開發，而curl命令可以幫助來解決開發過程中遇到的問題。
常用參數
curl命令參數很多，這裏只列出我曾經用過、特別是在shell腳本中用到過的那些。
-A:隨意指定自己這次訪問所宣稱的自己的瀏覽器信息
-b/--cookie <name=string/file> cookie字符串或文件讀取位置，使用option來把上次的cookie信息追加到http request裏面去。
-c/--cookie-jar <file> 操作結束後把cookie寫入到這個文件中
-C/--continue-at <offset> 斷點續轉
-d/--data <data> HTTP POST方式傳送數據
-D/--dump-header <file> 把header信息寫入到該文件中
-F/--form <name=content> 模擬http表單提交數據
-v/--verbose 小寫的v參數，用於打印更多信息，包括髮送的請求信息，這在調試腳本是特別有用。
-m/--max-time <seconds> 指定處理的最大時長
-H/--header <header> 指定請求頭參數
-s/--slient 減少輸出的信息，比如進度
--connect-timeout <seconds> 指定嘗試連接的最大時長
-x/--proxy <proxyhost[:port]> 指定代理服務器地址和端口，端口默認爲1080
-T/--upload-file <file> 指定上傳文件路徑
-o/--output <file> 指定輸出文件名稱
--retry <num> 指定重試次數
-e/--referer <URL> 指定引用地址
-I/--head 僅返回頭部信息，使用HEAD請求
-u/--user <user[:password]>設置服務器的用戶和密碼
-O:按照服務器上的文件名，自動存在本地
-r/--range <range>檢索來自HTTP/1.1或FTP服務器字節範圍
-T/--upload-file <file> 上傳文件
-w/--write-out <format> 在一次完整且成功的操作後輸出指定格式的內容到標準輸出（ eg. -w "%{http_code}\n" ）
輸出格式由普通字符串和任意數量的變量組成，輸出變量需要按照%{variable_name}的格式，如果需要輸出%，double一下即可，即%%，同時，\n是換行，\r是回車，\t是TAB。curl會用合適的值來替代輸出格式中的變量，一些些可用變量如下：
http_code The numerical response code that was found in the last retrieved HTTP(S) or FTP(s) transfer. In 7.18.2 the alias response_code was added to show the same info. http_connect The numerical code that was found in the last response (from a proxy) to a curl CONNECT request. (Added in 7.12.4) local_ip The IP address of the local end of the most recently done connection - can be either IPv4 or IPv6 (Added in 7.29.0) local_port The local port number of the most recently done connection (Added in 7.29.0) redirect_url When an HTTP request was made without -L to follow redirects, this variable will show the actual URL a redirect would take you to. (Added in 7.18.2) remote_ip The remote IP address of the most recently done connection - can be either IPv4 or IPv6 (Added in 7.29.0) remote_port The remote port number of the most recently done connection(Added in 7.29.0) time_total The total time, in seconds, that the full operation lasted. The time will be displayed with millisecond resolution. url_effective The URL that was fetched last. This is most meaningful if you've told curl to follow location: headers.
使用示例
1，抓取頁面內容到一個文件中
[root@xi mytest]# curl -o home.html http://www.baidu.com --將百度首頁內容抓下到home.html中
[root@xi mytest]#curl -o #2_#1.jpghttp://cgi2.tky.3web.ne.jp/~{A,B}/[001-201].JPG
由於A/B下的文件名都是001，002...，201，下載下來的文件重名，這樣，自定義出來下載下來的文件名，就變成了這樣：原來： A/001.JPG —-> 下載後： 001-A.JPG 原來： B/001.JPG ---> 下載後： 001-B.JPG
2，用-O（大寫的），後面的url要具體到某個文件，不然抓不下來。還可以用正則來抓取東西
[root@xi mytest]# curl -O http://www.baidu.com/img/bdlogo.gif
運行結果如下：
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 1575 100 1575 0 0 14940 0 --:--:-- --:--:-- --:--:-- 1538k
會在當前執行目錄中生成一張bdlogo.gif的圖片。
[root@xi mytest]# curl -O http://XXXXX/screen[1-10].JPG --下載screen1.jpg~screen10.jpg
3，模擬表單信息，模擬登錄，保存cookie信息
[root@xi mytest]# curl -c ./cookie_c.txt -F log=aaaa -F pwd=******http://www.XXXX.com/wp-login.PHP
4，模擬表單信息，模擬登錄，保存頭信息
[root@xi mytest]# curl -D ./cookie_D.txt -F log=aaaa -F pwd=******http://www.XXXX.com/wp-login.php
-c(小寫)產生的cookie和-D裏面的cookie是不一樣的。
5，使用cookie文件
[root@xi mytest]# curl -b ./cookie_c.txt http://www.XXXX.com/wp-admin
6，斷點續傳，-C(大寫)
[root@xi mytest]# curl -C -O http://www.baidu.com/img/bdlogo.gif
7，傳送數據,最好用登錄頁面測試，因爲你傳值過去後，curl回抓數據，你可以看到你傳值有沒有成功
[root@xi mytest]# curl -d log=aaaa http://www.XXXX.com/wp-login.php
8，顯示抓取錯誤，下面這個例子，很清楚的表明了。
[root@xi mytest]# curl -fhttp://www.XXXX.com/asdf
curl: (22) The requested URL returned error: 404
[root@xi mytest]# curlhttp://www.XXXX.com/asdf
<HTML><HEAD><TITLE>404,not found</TITLE>
9，僞造來源地址，有的網站會判斷，請求來源地址，防止盜鏈。
[root@xi mytest]# curl -ehttp://localhosthttp://www.XXXX.com/wp-login.php
10，當我們經常用curl去搞人家東西的時候，人家會把你的IP給屏蔽掉的,這個時候,我們可以用代理
[root@xi mytest]# curl -x 24.10.28.84:32779 -o home.htmlhttp://www.XXXX.com
11，比較大的東西，我們可以分段下載
[root@xi mytest]# curl -r 0-100 -o img.part1http://www.XXXX.com/wp-content/uploads/2010/09/compare_varnish.jpg
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 101 100 101 0 0 105 0 --:--:-- --:--:-- --:--:-- 0
[root@xi mytest]# curl -r 100-200 -o img.part2http://www.XXXX.com/wp-ontent/uploads/2010/09/compare_varnish.jpg
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 101 100 101 0 0 57 0 0:00:01 0:00:01 --:--:-- 0
[root@xi mytest]# curl -r 200- -o img.part3http://www.XXXX.com/wp-content/uploads/2010/09/compare_varnish.jpg
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 104k 100 104k 0 0 52793 0 0:00:02 0:00:02 --:--:-- 88961
[root@xi mytest]# ls |grep part | xargs du -sh
4.0K one.part1
112K three.part3
4.0K two.part2
用的時候，把他們cat一下就OK,cat img.part* >img.jpg
12，不會顯示下載進度信息
[root@xi mytest]# curl -s -o aaa.jpg http://www.baidu.com/img/bdlogo.gif
13，顯示下載進度條
[root@xi mytest]# curl -0 http://www.baidu.com/img/bdlogo.gif (以http1.0協議請求)
####################################################################### 100.0%
14,通過ftp下載文件
[xifj@Xi ~]$ curl -u用戶名:密碼 -Ohttp://www.XXXX.com/demo/curtain/bbstudy_files/style.css
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
101 1934 101 1934 0 0 3184 0 --:--:-- --:--:-- --:--:-- 7136
[xifj@Xi ~]$ curl -u 用戶名:密碼 -O http://www.XXXX.com/demo/curtain/bbstudy_files/style.css
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
101 1934 101 1934 0 0 3184 0 --:--:-- --:--:-- --:--:-- 7136
或者用下面的方式
[xifj@Xi ~]$ curl -O ftp://用戶名:密碼@ip:port/demo/curtain/bbstudy_files/style.css
[xifj@Xi ~]$ curl -O ftp://用戶名:密碼@ip:port/demo/curtain/bbstudy_files/style.css
15，通過ftp上傳
[xifj@Xi ~]$ curl -T test.sql ftp://用戶名:密碼@ip:port/demo/curtain/bbstudy_files/
[xifj@Xi ~]$ curl -T test.sql ftp://用戶名:密碼@ip:port/demo/curtain/bbstudy_files/
15,模擬瀏覽器頭
[xifj@Xi ~]$ curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -o page.html -D cookie0001.txthttp://www.www.baidu.com
16,PUT、GET、POST
比如 curl -T localfile http://cgi2.tky.3web.ne.jp/~zz/abc.cgi，這時候，使用的協議是HTTP的PUT method
剛纔說到PUT，自然想起來了其他幾種methos－－GET和POST。
http提交一個表單，比較常用的是POST模式和GET模式
GET模式什麼option都不用，只需要把變量寫在url裏面就可以了
比如：
curl http://www.yahoo.com/login.cgi?user=nick&password=12345
而POST模式的option則是 -d
比如，curl -d "user=nick&password=12345" http://www.yahoo.com/login.cgi
就相當於向這個站點發出一次登陸申請~~~~~
到底該用GET模式還是POST模式，要看對面服務器的程序設定。
一點需要注意的是，POST模式下的文件上的文件上傳，比如
<form method="POST" enctype="multipar/form-data" action="http://cgi2.tky.3web.ne.jp/~zz/up_file.cgi">
<input type=file name=upload>
<input type=submit name=nick value="Go">
</form>
這樣一個HTTP表單，我們要用curl進行模擬，就該是這樣的語法：
curl -F upload=@localfile -F nick=go http://cgi2.tky.3web.ne.jp/~zz/up_file.cgi