如何扒取網站數據

1. 網站小偷 teleport ultra

在平時的開發或者學習的過程中，我們難免會看到一些讓人心動的網站，於是自己想把它搞下來，自己手工一個文件一個文件把它保存下來也可以實現，完成了也累得夠嗆，有一款扒站的神器，可以把你所喜歡的目標網站整個網站給扒下來，這個神器就是teleport ultra！

使用步驟

1、打開軟件 

 

點擊File，然後點擊 New Project Wizred…，彈出如下界面，選擇第一項，點擊下一步 

 

然後在輸入框輸入你要扒的網站的地址，點擊下一步 
 

選擇everything，點擊下一步，然後點擊完成 

 

選擇本地保存網站源文件的路徑後，點擊保存 

 

再單擊start，即開始扒網站的文件 

 

搞定 

2.wget 命令獲取法

    

需要下載某個目錄下面的所有文件。
命令如下
wget -c -r -np -k -L -p http://docs.openstack.org/liberty/install-guide-rdo/
在下載時。有用到外部域名的圖片或連接。如果需要同時下載就要用-H參數。
wget -np -nH -r –span-hosts www.xianren.org/pub/path/
-c 斷點續傳
-r 遞歸下載，下載指定網頁某一目錄下（包括子目錄）的所有文件
-nd 遞歸下載時不創建一層一層的目錄，把所有的文件下載到當前目錄
-np 遞歸下載時不搜索上層目錄，如wget -c -r www.xianren.org/pub/path/
沒有加參數-np，就會同時下載path的上一級目錄pub下的其它文件
-k 將絕對鏈接轉爲相對鏈接，下載整個站點後脫機瀏覽網頁，最好加上這個參數
-L 遞歸時不進入其它主機，如wget -c -r www.xianren.org/
如果網站內有一個這樣的鏈接：
www.xianren.org，不加參數-L，就會像大火燒山一樣，會遞歸下載www.xianren.org網站
-p 下載網頁所需的所有文件，如圖片等
-A 指定要下載的文件樣式列表，多個樣式用逗號分隔
-i 後面跟一個文件，文件內指明要下載的URL

下載一個完整的網站，即當前頁面所依賴的所有文件：wget --mirror -p --convert-links -P./test http://localhost
　　--mirror:打開鏡像選項
　　-p:下載所有用於顯示給定網址所必須的文件
　　--convert-links：下載以後，轉換鏈接用於本地顯示
　　-P LOCAL_DIR：保存所有的文件或目錄到指定的目錄下