1.使用gerapy進行分佈式爬蟲管理
準備工作:
首先將你使用scrapy-redis寫的分佈式爬蟲全部完善
模塊準備:
安裝:
pip install pymongo【依賴模塊】
pip install gerapy
2.在本地創建部署項目的文件夾
2.1例如如圖在本地創建workgreapy文件夾
2.2進入該文件夾
2.3輸入cmd 回車
2.4在命令行模式下輸入gerapy init, 進行項目初始化
2.5 此時進入gerapy文件夾 同時將你自己寫的爬蟲項目文件夾放入到gerapy/project下
2.6 接下來執行gerapy migrate 進行數據庫遷移
2.7接下來重新打開一個命令行窗口 win+R 輸入cmd 模擬scrapyd服務端啓動
2.8接下來在上一個命令行窗口下輸入 gerapy runserver 進行啓動管理平臺
2.9打開瀏覽器 在地址欄輸入 http://127.0.0.1:8000 回車就能看到基於gerapy的爬蟲項目部署的後臺頁面
點擊主機管理or(clients) 進行主機管理
接下來進行項目部署點擊項目管理or(Projects) 點擊部署 將自己的項目打包
之後再點擊部署 彈出部署成功
返回主機管理 點擊調度or(schedule)
至此爬蟲的項目部署已經完成。點擊運行 爬蟲程序就可以正常運行了 由於我使用的是基於scrapy-redis模塊的分佈式爬蟲所以需要運行redis的服務端與客戶端 在客戶端輸入.
此時程序就可以正常啓動了
0.0.0.0.0.0.0