Spider模塊用於爬取網站的內容,可以幫助我們更快地瞭解網站的結構以及分佈情況,爲之後的測試提供方便。
Spider模塊包含以下兩個模塊
- Control:控制模塊
- Options:配置模塊
1、Control
Control模塊用於控制Spider模塊的運行以及數據的顯示,包含以下兩個功能:
- Spider Status:Spider的狀態
- Spider Scope:Spider範圍
1.1、Spider Status:狀態
Spider狀態,主要是控制爬取的開始和暫停,以及顯示爬取內容數量和請求隊列的控制。
1.2、Spider Scope:範圍
Spider範圍也就是作用域,主要是管理爬取的範圍。有兩種控制方式:
- 系統默認
- 用戶自定義
2、Options
配置選項模塊主要是用於配置一些爬取的方式和參數,具體包含以下6個模塊:
- Crawler Settings:爬取方式設定
- Passive Spidering:被動爬取
- From Submission:表單提交
- Application Login:應用登陸
- Spider Engine:爬取引擎
- Request Header:請求頭
下面一一介紹
2.1、Crawler Settings:爬取方式設定
2.2、Passive Spidering:被動爬取
勾選上則表示在爬取時,會經過代理;數字表示爬取深度,0代表無限制。
2.3、From Submission:表單提交
2.4、Application Login:應用登陸
與提交表單基本一樣
2.5、Spider Engine:爬取引擎
主要是對爬取模塊的一些線程、超時等設定,具體如下
2.6、Request Header:請求頭
主要是用於手工添加一些http請求頭,在請求時生效
演示
隨意挑選一個Web站點,右鍵選擇Spider from here
此時在Spider模塊中,已經顯示爬取情況
切換至Target模塊,找到該站點,即可查看爬取結果