远端部署
1、配置服务器的python环境
- 安装pip3:sudo apt install python3-pip
- 安装scrapy:pip3 install scrapy -i https://pypi.douban.com/simple/
- 如果安装失败添加以下依赖:
sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
- 安装scrapyd: pip3 install scrapyd
- 安装scrapyd-client: pip3 install scrapyd-client
- 添加爬虫运行的三方库:
- pip3 install requests
- pip3 install pymysql
- pip3 install pymongodb
2、修改scrapyd的配置文件,允许外网访问
- Linux查找配置文件的路径:find -name default_scrapyd.conf
- 修改配置文件: sudo vim 路径
- 将路径bind-address修改为0.0.0.0允许全网访问
3、配置安全组
-
进入服务器安全组选项添加安全组
-
添加成功后,点击修改规则,添加如下信息(配置目的:允许访问6800端口)
-
完成后返回到云主机菜单,找到配置安全组菜单,跟换为刚才添加的安全组
-
最终完成后,在浏览器中输入ip地址和端口,显示如下图,说明配置成功
4、将爬虫项目部署到服务器
-
首先需要修改scrapyd.egg (项目的配置文件)
[deploy] url = http://服务器的外网ip : 端口号 project=项目名称
5、项目部署
- scrapyd-deploy -p <项目名称>
- 也可以指定版本号: scrapyd-deploy -p <项目名称> --version <版本号>