1.使用gerapy进行分布式爬虫管理
准备工作：
首先将你使用scrapy-redis写的分布式爬虫全部完善
模块准备：
安装：
pip install pymongo【依赖模块】
pip install gerapy
2.在本地创建部署项目的文件夹
2.1例如如图在本地创建workgreapy文件夹
2.2进入该文件夹
2.3输入cmd 回车
2.4在命令行模式下输入gerapy init， 进行项目初始化
2.5 此时进入gerapy文件夹 同时将你自己写的爬虫项目文件夹放入到gerapy/project下
2.6 接下来执行gerapy migrate 进行数据库迁移
2.7接下来重新打开一个命令行窗口 win+R 输入cmd 模拟scrapyd服务端启动
2.8接下来在上一个命令行窗口下输入 gerapy runserver 进行启动管理平台
2.9打开浏览器 在地址栏输入 http://127.0.0.1:8000 回车就能看到基于gerapy的爬虫项目部署的后台页面
点击主机管理or(clients) 进行主机管理
接下来进行项目部署点击项目管理or(Projects) 点击部署 将自己的项目打包
之后再点击部署 弹出部署成功
返回主机管理 点击调度or(schedule)
至此爬虫的项目部署已经完成。点击运行 爬虫程序就可以正常运行了 由于我使用的是基于scrapy-redis模块的分布式爬虫所以需要运行redis的服务端与客户端 在客户端输入.
此时程序就可以正常启动了
0.0.0.0.0.0.0