python下使用scrapy-redis模塊分佈式爬蟲的爬蟲項目部署詳細教程————————gerapy

1.使用gerapy進行分佈式爬蟲管理

準備工作:

首先將你使用scrapy-redis寫的分佈式爬蟲全部完善

模塊準備:

安裝:

pip install pymongo【依賴模塊】

pip install gerapy 

2.在本地創建部署項目的文件夾

2.1例如如圖在本地創建workgreapy文件夾

2.2進入該文件夾

2.3輸入cmd  回車

2.4在命令行模式下輸入gerapy init, 進行項目初始化

2.5 此時進入gerapy文件夾   同時將你自己寫的爬蟲項目文件夾放入到gerapy/project下

2.6 接下來執行gerapy migrate 進行數據庫遷移

2.7接下來重新打開一個命令行窗口 win+R  輸入cmd  模擬scrapyd服務端啓動

2.8接下來在上一個命令行窗口下輸入 gerapy runserver  進行啓動管理平臺

2.9打開瀏覽器 在地址欄輸入 http://127.0.0.1:8000 回車就能看到基於gerapy的爬蟲項目部署的後臺頁面

點擊主機管理or(clients) 進行主機管理

接下來進行項目部署點擊項目管理or(Projects)  點擊部署  將自己的項目打包

之後再點擊部署  彈出部署成功

返回主機管理  點擊調度or(schedule)

至此爬蟲的項目部署已經完成。點擊運行  爬蟲程序就可以正常運行了   由於我使用的是基於scrapy-redis模塊的分佈式爬蟲所以需要運行redis的服務端與客戶端  在客戶端輸入.

此時程序就可以正常啓動了

0.0.0.0.0.0.0

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章