scrapydweb：實現 Scrapyd 服務器集羣監控和交互，Scrapy 日誌分析和可視化

功能特性

• Scrapyd 服務器集羣監控和交互

  • 支持通過分組和過濾選中特定服務器節點
  • 一次點擊，批量執行

• Scrapy 日誌分析

  • 統計信息展示
  • 爬蟲進度可視化
  • 關鍵日誌分類

• 支持所有 Scrapyd API

  • Deploy project, Run Spider, Stop job
  • List projects/versions/spiders/running_jobs
  • Delete version/project

GitHub

scrapydweb

歡迎 Star 和提交 Issue

安裝

通過 pip 安裝：

pip install scrapydweb

啓動

通過命令行終端運行 "scrapydweb -h" 以查看幫助和選項. 第一次運行將在當前工作目錄生成配置文件 "scrapydweb_settings.py"，可用於自定義 Scrapyd 服務器列表等選項.

scrapydweb

 

通過瀏覽器訪問 http://127.0.0.1:5000

運行界面截圖

• 集羣監控和交互

   

• 當前節點任務列表

  
  

   

• 日誌分析

  • 統計信息輸出

    
    

     

  • 爬蟲進度可視化

    
    

     

  • 關鍵日誌分類

    
    

     

• 部署項目

  
  

   

• 運行爬蟲

  
  

   

• 管理項目