目前市面上我們常見的爬蟲軟件大致可以劃分爲兩大類：雲爬蟲和採集器（特別說明：自己開發的爬蟲工具和爬蟲框架除外）
- 雲爬蟲就是無需下載安裝軟件，直接在網頁上創建爬蟲並在網站服務器運行，享用網站提供的帶寬和24小時服務。
- 採集器一般就是要下載安裝在本機，然後在本機創建爬蟲，使用的是自己的帶寬，受限於自己的電腦是否關機。
至於最終選擇哪款爬蟲軟件，我們還是需要根據爬蟲自己的特點與優勢，以及我們自己的需求而進行選擇。下面就我就將自己積累的5款實用爬蟲軟件整理分享給大家，希望對大家有效提取信息提供便利。
推薦一：神箭手雲爬蟲
簡介：神箭手雲是一個大數據應用開發平臺，爲開發者提供成套的數據採集、數據分析和機器學習開發工具，爲企業提供專業化的數據抓取、數據實時監控和數據分析服務。功能強大，涉及雲爬蟲、API、機器學習、數據清洗、數據出售、數據訂製和私有化部署等。
優點：
- 純雲端運行，跨系統操作無壓力，隱私保護，可隱藏用戶IP。
- 提供雲爬蟲市場，零基礎使用者可直接調用開發好的爬蟲，開發者基於官方的雲端開發環境開發並上傳出售自己的爬蟲程序；
- 領先的反爬技術，例如直接接入代理IP和自動登錄驗證碼識別等，全程自動化無需人工參與；
- 豐富的發佈接口，採集結果以豐富表格化形式展現；
推薦二：八爪魚
簡介：八爪魚數據採集系統以完全自主研發的分佈式雲計算平臺爲核心，可以在很短的時間內，輕鬆從各種不同的網站或者網頁獲取大量的規範化數據，幫助任何需要從網頁獲取信息的客戶實現數據自動化採集，編輯，規範化，擺脫對人工搜索及收集數據的依賴，從而降低獲取信息的成本，提高效率。
優點：
- 操作簡單，完全可視化圖形操作，無需專業IT人員，任何會使用電腦上網的人都可以輕鬆掌握。
- 採集任務自動分配到雲端多臺服務器同時執行，提高採集效率，可以很短的時間內 獲取成千上萬條信息。
- 模擬人的操作思維模式，可以登陸，輸入數據，點擊鏈接，按鈕等，還能對不同情況採取不同的採集流程。
- 內置可擴展的OCR接口，支持解析圖片中的文字，可將圖片上的文字提取出來。
- 採集任務自動運行，可以按照指定的週期自動採集，並且還支持最快一分鐘一次的實時採集。
推薦三：集搜客GooSeeker
簡介：GooSeeker的優點顯而易見，就是其通用性，對於簡單網站，其定義好規則，獲取xslt文件後，爬蟲代碼幾乎不需要修改，可結合scrapy使用，提高爬取速度。
優點：
- 直觀點選，海量採集：用鼠標點選就能採集數據，不需要技術基礎。爬蟲羣併發抓取海量網頁，適合大數據場景。無論動態或靜態網頁，ajax和html一樣採集，文本和圖片一站採集，不再需要下圖軟件。
- 文本分詞和標籤化：自動分詞，建設特徵詞庫，文本標籤化形成特徵詞對應表，用於多維度量化計算和分析。發現行業動態，發現市場機會，解讀政策，快速掌握主旨要點。
推薦四：WebMagic
WebMagic是一個開源的Java垂直爬蟲框架，目標是簡化爬蟲的開發流程，讓開發者專注於邏輯功能的開發。WebMagic採用完全模塊化的設計，功能覆蓋整個爬蟲的生命週期(鏈接提取、頁面下載、內容抽取、持久化)，支持多線程抓取，分佈式抓取，並支持自動重試、自定義UA/cookie等功能。
推薦五：DenseSpider
簡介：Go語言實現的高性能爬蟲，基於go_spider開發。實現了單機併發採集，深度遍歷，自定義深度層級等特性。
優點：
- 基於Go語言的併發採集；
- 頁面下載、分析、持久化模塊化，可自定義擴展；
- 採集日誌記錄（Mongodb支持）；
- 頁面數據自定義存儲（Mysql、Mongodb）；
- 深度遍歷，同時可自定義深度層次；
- Xpath解析